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工程 学 院 ，1982 年 获 哈 尔 滨 工 业 大 学 硕士 学 位 ，1987 年 于 日 本 东北 
大 学 交工 学 博士 学 位 ， 后 在 Univefsity of Calitomia at San Diegot 
博士 后 一 年 ， 曾 在 盾 藤 空 伏天 部 304 研 究 所 任 商 级 工程 师 和 研究 员 
多 年 ，1992 年 9 月 调 入 清华 大 学 自动 化 系 任教 授 ，1933 年 被 批准 为 
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30 简 ， 出 版 学 术 著 作 5 痢 、 教 材 !1 邹 。1997 年 . 被 国家 教育 部 和 人 事 
部 评 为 “全国 优 秀 社 学 回 半 人 员 
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内 容 简 介 


本 书 将 矩阵 的 分 析 分 为 梯度 分 析 .奇异 值 分 析 ,特征 分 析 、 子 空间 分 析 与 投影 分 析 五 大 部 分 ,以 -种 
新 的 体系 , 系统、 全面 地 介绍 矩阵 分 析 的 主要 理论 .为 法 及 应 用 。 全 书 共 10 章 , 内 容 包括 矩阵 与 线 件 方 
程 组 RIE Toeplitz 矩阵 .矩阵 的 变换 与 分 解 . 梯 度 分 析 与 最 优化 .奇异 值 分 析 .总体 最 小 二 乘 方法 、 
特征 分 析 、 子 空间 分 析 ,投影 分 析 。 本 书 取 材 广泛 ,内容 新 颖 ,理论 与 应 用 密切 结合 。 书 中 介绍 了 矩阵 分 
析 的 丰富 理论 和 大 量 生 动 应 用 ,可 以 帮助 读者 学 会 如 何 使 用 系 阵 这 一 重要 数学 十 其 ,灵活 解决 科学 和 工 
程 技术 中 的 大 量 问题 。 

本 书 适 合 于 需要 甜 阵 知识 比较 多 和 比较 深 的 理科 (数学 ,物理 ,力学 等 ) 和 信息 科学 与 技术 (电子 、. 通 
入、 自动 控制 .计算 机 .系统 工程 ,模式 识别 .信号 处 理 等 ) 等 各 学 科 有 关 教 师 .研究生 和 科技 人 员 教 学 、 自 
学 或 进修 之 用 。 书 中 归纳 了 矩阵 的 众多 数学 性 质 和 大 草 有 关公 式 ,还 可 和 作为 矩阵 手册 使 用 。 
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和 矩阵 不 仅 是 各 数学 学 科 , 而 且 也 是 许多 理工 学 科 的 重要 数学 工具 。 就 其 本 身 的 研究 
而 言 , 矩阵 理论 和 线性 代数 也 是 极 富 创造 性 的 领域 。 它 们 的 创造 性 又 极 大 地 推动 和 丰富 
了 其 他 众多 学 科 的 发 展 : 许多 新 的 理论 、 方 法 和 技术 的 诞生 与 发 展 就 是 年 阵 理论 和 线性 
代数 的 创造 性 应 几 与 推广 的 结果 。 吉 以 毫 不 压 张 地 说 ， 和 矩阵 理论 和 线性 代数 在 物理 、 力 
学 、 信 号 与 信息 处 理 、 通信, 电子 、 系 统 、 控 制 、 模 式 识别 、 芋 水 、 电机、 航空 和 航天 等 众 
多 学 科 中 三 最 富 创 造 性 利 灵 活性 ， 并 起 着 不 可 替代 作出 的 数学 工具 。 
作者 在 从 事 信 号 处 理 、 神 经 计算 、 道 信和 模式 识别 的 长 期 科学 研究 中 ， 深 刻 感 受到 
矩阵 分 析 在 科学 研究 中 所 起 的 重要 作用 ,并 体现 在 作者 和 合作 者 在 国际 权威 和 著名 杂志 
发 表 的 一 系列 论文 中 。 另 一 方面 , 在 十 余年 的 研究 生 教学 中 , 笔者 对 工科 尤其 是 信息 科学 
与 技术 各 学 科 的 研究 生 在 簿 阵 理论 与 线性 代数 方面 知识 的 不 足 与 欠缺 颇 有 体会 。 矩阵 分 
析 理 论 与 方法 的 重要 性 , 以 及 作者 的 教学 和 研究 体会 , 众 发 了 作者 著作 本 书 的 意愿 。 虽然 
作者 的 《信和 号 处 理 中 的 线性 代数 》 一 书 曾 由 科学 出 版 社 丁 1997 年 出 版 , 但 本 书 无 论 是 在 
体系 结构 上 , 还 是 在 内 容 的 组 织 与 安排 上 ， 都 与 《信号 处 理 中 的 线性 代数 》 大 不 相同 。 
国内 外 出 版 了 不 少 深 受 读者 喜爱 的 矩阵 理论 和 线性 代数 的 书籍 ， 而 本 书 试图 从 - 个 
新 的 角度 , 提出 从 矩阵 的 梯度 分 析 、 奇异 值 分 析 、 特征 分 析 、 子 空间 分 析 、 投 影 分 析出 发 ， 
构筑 论述 矩阵 分 析 的 一 个 新 体系 。 此 外 , 在 国内 外 的 有 关 书 籍 中 , 涉及 矩阵 理论 利 线性 
氏 数 的 应 用 时 ，-- 般 都 侧重 于 菜 -…、 二 个 特定 的 学 科 ， 本 书 则 介绍 矩阵 分 析 在 数理 统计 、 
数值 计算 、 信号 处 理 、 电 子 、 通信 、 模式 识别 、 神 经 计算 、 系 统 科学 等 多 学 科 中 的 估量 生 
动 应 用 。 鉴 于 本 书 介绍 的 理论 与 应 用 的 广泛 性 , BORA CHAE SID). 
全 书 共 分 10 章 , 其 十 要 内 容 可 概括 如 下; 
(1) 德 阵 分 析 的 基础 知识 (第 1 ~ 4 章 ): 矩阵 与 线性 方程 组 、 特 殊 和 矩阵、Tpeplitz 年 
阵 、 矩阵 的 变换 与 分 解 。 

(2) 梯度 分 析 (第 5 章 ): 包括 一 阶梯 度 和 二 阶梯 度 的 计算 ， 以 及 实现 最 优化 的 梯度 
算法 及 其 重要 改进 ( 遂 推 最 小 - : 乘 算法 、 共 眶 梯度 算法 、 仿 射 投影 算法 和 自然 梯 
度 算法 )。 

(3) 和 矩阵 的 奇异 值 分 析 {第 6 ~ 7 章 ); 第 6 章 介绍 奇异 值 分 解 及 其 各 种 推 !”( 滋 积 
奇异 值 分 解 、) 义 奇异 值 分 解 、 约 末 奇异 值 分 解 、 结 构 奇 异 值 )。 第 7 章 是 奇异 
值 分 解 在 线性 代数 中 的 应 用 , 介绍 总 体 最 小 二 乘 方 法 、 约束 总 体 最 小 一 乘 、 结构 
总 体 最 小 一 乘 。 

(4) 短 阵 的 特征 分 析 (第 8 章 ): 包含 所 阵 的 特征 值 分 解 以 及 各 种 推广 (广义 特征 值 
分 解 、Rayleigh 商 、 广义 Rayleigh 商 、 一 次 特 入 值 问题 、 算 阵 的 联合 对 角 化 )。 

(8) 子 空间 分 析 (第 E) 子 空间 的 构造 , 特征 子 空间 分 析 方 法 、 子 空间 的 跟踪 。 

(6) 投影 分 析 (第 10 章 ): LAH AEA STA] ( 列 空间 成 者 行 室 间 ), 到 另 一 基 
本 空间 的 正 交 投影 和 和 斜 投影 。 
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本 书 试图 在 以 下 方面 形成 


特点 : 


(1) 如 大 选 屠 的 广度 和 深度 ， 充 分 体现 内 容 的 新 颖 性 和 先进 性 。 为 了 与 矩阵 理论 的 


国际 新 发 展 “ 接 轨 ”， 
YE, 如 总 体 最 小 一 


- 乘 方法 及 其 


书 中 系统 地 介绍 了 矩阵 分 析 的 一 些 新 领域 、 新 理论 和 新 方 
t 推 ) ， 一 次 特征 值 问题 , 矩阵 的 联合 对 角 化 , EHE 


影 , 子 空间 方法 , 仿 射 投影 算法 和 自然 梯度 算法 等 。 


(2) 帘 出手 阵 分 析 理 论 与 


科学 技术 应 用 的 密切 结合 。 本 书 在 介绍 每 一 种 重要 理论 与 


方法 的 同时 , 都 会 选择 介绍 相应 的 应 用 。 而 在 应 用 例子 的 选择 上 , 则 尽 可 能 包括 


5 较 多 的 学 科 。 事 实 上 ， 本 书 的 应 用 举例 不 仅 涉及 数理 统计 和 数值 计算 等 数学 
领域 , 更 包括 了 信和 号 处 理 、 电 子 、 道 信 、 模 式 识别 、 神经 计算 、 雷达 、 
系统 辨识 等 信息 科学 与 技术 的 不 同学 科 与 领域 。 


图 像 处 理 、 


(3) 强调 创新 能 力 的 培养 。 书 中 介绍 大 基 应 用 例子 时 ,侧重 于 讲述 应 用 的 基本 机 理 ， 


LA, 进行 创新 研究 。 


为 便于 读者 理解 重要 的 概念 和 方法 ， 书 + 


出 发 点 是 让 读者 体会 矩阵 分 析 的 灵活 性 与 创新 性 ， 学 : 


会 如 何 使 用 矩阵 分 析 的 


穿插 了 大 量 的 例题 。 为 了 方便 读者 检验 学 


IAR, 全 书 在 参考 全 国 硕士 研究 生 招 生 部 分 数学 试题 和 其 他 有 关 文 献 的 基础 上 , 选编 


了 340 RUJA. Ith 
编 了 820 余 条 索引 ， 


作 本 书 的 过 程 中 ， 参 考 了 大 量 的 
SIAM 的 多 种 杂志 


本 书 不 仅 汇 总 了 甜 阵 分 析 有 关 的 大 量 数学 性 质 和 公式 ,而 划 汇 
可 供 读 者 作为 一 本 矩阵 手册 使 用 。 

本 书 是 从 - 个 工科 研究 和 教学 人 员 的 视角 进行 材料 
外 有 关 和 矩阵 分 析 与 线性 代数 的 论文 和 著作 ， 其 中 以 
为 主要 参考 文献 源 ; 而 应 用 的 举例 则 主要 参考 IEEE 的 几 家 汇 刊 。 虽然 


的 选择 和 内 容 论述 的 。 作者 在 著 


ERITA. 位 而 于 理解 水 平和 能 力 , 书 中 未 能 如 愿 乃 至 不 妥 , 甚至 错误 之 处 可 能 不 乏 


其 例 。 在 此 , 诚 蝶 希望 诸位 专家 、 E 


机 


目 、 教 育 部 博士 点 专项 基金 、 国 防 重 点 实验 室 基金 、 航 天 支撑 


的 课题 资助 。 


AU KS ASA. 


本 人 在 西安 电子 科技 大 学 任 特聘 教授 之 际 , 完成 于 
载 有 余 。 然 而 ,本 书 系 作者 积 十 余年 救 学 和 二 十 余 
会 感谢 教育 部 “长 江 学 者 奖励 计划 ”、 


家 自然 科 


作者 原本 打算 对 《信号 处 理 中 的 线性 代数 》 一 书 作 较 大 修改 , 最 终 变 成 了 重 写 , ME 


到 清华 大 学 任教 二 年 之 后 ， 历 时 四 


科学 研究 之 体会 与 成 果 而 成 , 借 此 


学 基金 委 重大 研究 项 目 和 多 个 基金 项 


全 书 由 笔者 使 用 IAIEX 撰写 及 排版 。 


技术 基金 以 及 Intel 公司 等 
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第 1 章 ”和 矩阵 与 线性 方程 组 


在 科学 与 [ 程 中 ,经 常会 遇 芭 求解 线性 方程 组 的 问题 。 算 阵 是 描述 和 求解 线性 方程 
纪 最 基本 种 最 有 败 的 数学 工 其 。 处 阵 不 仅 有 很 多 基本 的 数学 运算 , RR. A SMR, 
ROWERS SONER, 而 且 还 有 多 种 重要 的 标价 消 数 , 如 行列 式 、 范 数 、 迹 、 秩 。 本 章 
将 介绍 矩阵 与 线性 方 称 组 的 基本 刊 识 ， 为 后 面 各 章 全 面 介绍 矩阵 的 分 析 及 应 用 提供 基础 
知识 。 


11 ”矩阵 的 基本 运算 


首先 引出 矩阵 和 向 基 的 概念 , 给 出 本 上 书 中 经 常 使 甩 的 基本 符号 。 
11l ESEE 
在 科学 和 工程 中 ,经 常会 遇 到 m x n 线性 方程 组 
aTi + Giada 十 "十 Qin7n = by 
a21Z1 十 a2272 +--+ Canty = bg 
(1.1.1) 
amiy 十 Qra2D2 +F OnE = bm 
它 使 用 m 个 方程 描述 n 个 杰 知 量 之 间 的 线性 关系 。 这 一 线性 方 穆 组 很 容易 用 怎 阵 一 向 
量 形式 简 记 为 


Az=b (1.1.2) 
式 中 
A Aig in 
A=| FT Gan (1.1.3) 
Omi Ama Bo, 
称 为 mx n 矩阵 ， 是 一 个 按照 长 方 阵列 排列 的 复数 或 实数 集合 ; 而 
Ty bi 
=i} ge | (1.1.4) 
Em by, 


2 第 1 章 矩阵 与 线性 方程 组 


分 别 为 mx1 向 量 和 nx 1 向量, 是 按照 列 方 式 排列 的 复数 或 实数 集合 , 统称 列 向 量 。 类 
似 地 , 按照 行 方式 排列 的 复数 或 实数 集合 称 为 行 向 芋 , 例如 tE 


a= [m,a saa] (18) 


是 1xn 向 基 。 
和 矩阵 A 可 以 是 线性 系统 、 滤 波 器 、 无 线 信道 等 的 符号 表示 ， TRE LEPRE 
向 基 可 分 为 三 种 01, 
0) 物理 向 量 : 泛 指 既 有 幅 值 , 又 有 方向 的 物理 甚 , 如 速度 、 加 速度 、 位 移 等 。 
(2) 几何 向 量 : 为 了 将 物理 向 量 可 视 化 , 常用 带 方 向 的 (简称 有 向 ) 线段 表示 之 。 这 
种 有 向 线段 称 为 几何 向 芋 。 例如, v= AB 表示 的 有 向 线段 , 其 起 点 为 A 终点 
Ñ Bo 
(3) 代数 向 量 几何 向 量 可 以 用 代数 形式 表示 。 例如 , 兰 平 面 上 的 儿 何 向 量 w = AB 
的 起 点 坐标 4 = (ay, az}, 终点 坐标 B= (5,8)， 则 该 几何 向 量 可 以 表示 为 代数 
形式 v= on 一 of 这 种 用 代数 形式 表示 的 几何 向 基 称 为 代数 向 量 。 


推 而 广 之 ,多维 空间 的 几何 向 量 也 可 用 代数 形式 表示 。 如 无 特殊 申明 , 本 书 今后 将 以 
代数 向 量 作为 讨论 对 象 。 

根据 元 素 取 值 种 类 的 不 同 , 代数 向 量 又 可 分 为 以 上 三 种 ， ; 

(1) 常数 向 量 : 向 量 的 元 素 全 部 为 实 常数 或 者 复 常数 , 如 a = [15,417 等 。 

(2) 函数 向 量 : 向 量 的 元 素 包含 了 函数 值 , 如 æ= [1,2?,--- a]? 等 。 

(3) 随机 向量 : 向 量 的 元 素 为 随机 变量 或 者 随机 过 程 , 如 x(n) = e(n) eln), 

Tm(n)] 了， 其 中 ,zj(n),z2(n),… ,zm(n) 是 m 个 随机 过 程 或 随机 信号 。 
图 1.1.1 归纳 了 向 量 的 分 类 。 


物理 向 量 
常数 向 量 
向 量 4 代数 向 量 | 
随机 向 明 

JLT AE 
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OH1 012 in 
a21 a22 an 

a=|. |，o=|: h en a=], (1.1.6) 
Grn, Ome. mn, 


则 矩阵 A 可 以 用 列 向 量 记 作 
A= [aa ,nl (1.1.7) 
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一 个 nxn TEASE A 的 主 对 角 线 是 指 从 左上 角 到 右 下 角 沿 于 = 也 了 一 lon 
相连 接 的 线段 。 位 于 主 ， 角 线 上 的 元 素 称 为 4 的 对 角 元 素 , 它们 是 ay, asaan P 
行 于 主 对 角 线 沿 有 ~ 下 = 常数 相连 接 的 线段 称 为 4 的 对 角 线 。 

矩阵 A 从 右上 和 角 到 左下 角 沿 

(in-i+1), i=1,2 e,n 
相连 接 的 线段 称 为 矩阵 4 的 交叉 对 角 线 (也 称 次 对 角 线 ), CHET EMAAR. 
主 对 角 线 以 外 元 素 全 部 为 零 的 n x n BERANA, E 
D = diag(du dza ,dhn) (1.1.8) 
ANT MEE PRICES F 1 则 称 其 为 单位 矩阵 , 用 符号 Inen 示 之 。 所 有 元 素 
为 零 的 m x n ERRA FER WA Onno 

一 个 全 部 元 素 为 零 的 向 量 称 为 零 向 量 。 当 维 数 已 经 明了 或 者 不 紧要 时 ,， 常 省 太 单 位 
甜 阵 、 零 矩阵 和 零 向 量 表示 维 数 的 下 标 , 将 它们 分 别 简 记 为 7,O 和 0。 

只 有 一 个 元 素 为 1 其 他 元 素 皆 等 于 0 的 列 向 量 称 为 基本 向 量 , H 


1 0 0 
0 1 0 

e=], es=|0|, ..., e=]? (1.1.9) 
0 0 1 


显然 , n x n PER 了 可 以 用 n 个 基本 向 量 表示 为 了 工 = [ei,e2,… ,en]。 
在 本 书 中 , 我 们 经 常会 用 到 矩阵 符号 Al iph: h) 它 代表 由 4 HOR i ~ ip 1T 
和 第 j ~ jy 列 组 成 的 一 个 子 矩 阵 。 例 如 


morao- lE O43 Au 
062 “e3 Q64 


分 块 矩 阵 是 一 个 以 矩阵 作 元 素 的 矩阵 : 


如 An gr 
21 22 2n 
A=jA;]= : 

Am Ama Ann, 
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ARRELBRS, C 表示 复数 集合 。 一 个 复 和 矩阵 定 义 为 护照 长 方 阵列 排列 的 复数 
和 集合, 记 作 


AEC™n & Ax fay], oy EO f= m j= {1.1.10) 
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类 似 地 , 一 个 实 和 矩阵 记 作 
AER A= [oil a, ER $= 1,2,---,m, j=b2,,n (1.1.11) 
定义 1.1.1 #A=(a,) 是 一 个 m xn ERE, 则 A 的 转 置 记 作 AT, 是 一 个 nxm 
HERE, EK [ATs = ays SERE A 的 复数 共 令 AY 定义 为 [AY], = of, BUAR EE 
作 AM, 定义 为 


aji i Om 
at, ak o at 
H 12 &22 m2 
MA 一 | 了 o? n (1.1.12) 
= * * 
Gin Ain **' Amn. 


HH BAY Hermitian 伴随 、Hermitian 转 置 或 Hermitian H. 满足 AM = A 的 正方 
HERRA Hermitian SARE RI PENT BRIERE. 
EEE: 
= (Ay = (A77 (1.1.18) 


一 个 mxn DR A RRR A TCR BARA nxm 分 


RER: uo u a 
An An o Ami 

M 二 4% 

Ain Ain oo Amn, 


列 向 量 的 转 置 结果 为 行 向 量 , 行 向 量 的 转 置 结果 为 列 向 车 。 由 于 书 中 过 到 的 大 多 数 
向 量 为 列 向 量 ， 为 节省 书写 前 空间 ， 本 书 采用 转 置 符号 TH mx 1 PARRE s = 
[ea ra y Em]T e 

ERRA RAGE EA MEI. SEE ARER. 

定义 1.1.2 Bit mxn EH A = fag] Bl B = [by] 2A A+B, EH 
[A + Bl = a,j + bijo 

定义 1.1.8 4 A= [ey] E-A mxn EE, Ho EARE RR aA 是 一 个 
mx n KEM, SUH [a Ali; = atje 

定义 1.1.3 可 以 推广 为 矩阵 与 向 量 的 乘积 、 FEES EEE. 

定义 1.1.4 mxn iM A= [ja] 与 7 x1 向量 w= [zhza ,zz]7 MRR Aw 只 
AA nsr 时 才 存在 , 它 是 一 个 m x 1 向 量 , 定义 为 

[Az]; = Saya; #=1,2,-++,m 


定义 1.1.5 mx nf A = lay] Sr x s ERE B = by] 的 乘积 AB RAY nsr 
时 才 存在 , 它 是 一 个 m x s 矩阵 ， 定 义 为 


a 
(AB); = 》 aab €= 1,205 ,mjy j=1,2,.. ,8 
k=l 
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根据 定义 ,容易 验证 矩阵 的 加 法 服从 上面 的 运算 规则 。 
* 加 法 交换 律 (commutative law of addition): A+ B= B+A 
es 加 法 结合 律 (associative law of addition): (A + B) +C =A+(B+C) 
定理 1.1.1 ”和 矩阵 的 乘积 服从 下 面 的 运算 法 则 。 
(1) 乘法 结合 律 (associative law of multiplication): # A € C™", BE Cnxp,C € 
cPxd, W A(BC) = (AB)C. 
(2) 乘法 左 分 配 律 (ett distributive law of multiplication): 47 A 和 B 是 两 个 和 xn 
SEM, HC 是 一 个 xp HE, N (A+ B)C = AC + BC. 
(3) 乘法 右 分 配 律 (right distributive law of multiplication); # A 是 一 个 m xn IE 
阵 , 并 且 BAC ÆRA nx pIE, 则 A(B+C)=AB+ AC. 
(4) Ha 是 一 个 标量 , 并 且 4 和 BRB m xn ERE, W o(A+B)=aAt+oB. 
证 明 这 里 只 证 明 (1) 和 (2), 其 他 部 分 的 证 明 留 给 读者 作 练 习 。 
() 令 Anxn = leigh Baxp = [bigh Coxa = [cj 则 


= [ABC]; 

即 有 A(BC) = (AB)C. 

(2) SER AGFA 

[ACh = aakcuy [BC], = 了 bueeuy 
k=1 k=1 
再 由 和 矩阵 的 加 法 , 得 
[AC + BC],; =[4C + [BC]; = Crs + bx )eay = (A+ BIC], 
kel 

WA (A+ B)C = AC + BC. E 

R, 矩阵 的 乘法 不 满足 交换 律 , 即 ABA BA. 

令 向 量 z = [ent tn)" Aly = 基因 加] 了， ERPS SRR Aw = y 可 


视 为 向 量 z 的 线性 变换 结果 。 此 时 , nxn ERE A 称 为 线性 变换 矩阵 。 若 向 量 y 到 z 的 
线性 道 变换 A 存在 , W 


a=Aly (1.1.14) 


这 一 方程 可 视 为 在 原 线性 变换 Ar = y WUER A 之 后 得 到 的 结果 4 Az = Aly. 
因此 , 线性 逆 变 换 4-! 应 该 满足 ATA = 了 之 关系 。 另 一 方面 , s= Ay 也 是 可 逆 的 ， 


6 第 1 章 EESE 


即 两 边 左 乘 A 后 得 到 的 Az = AA y 应 该 与 原 线性 变换 Ax = y 一 致 , 故 A) 还 应 
该 满足 AAT = 了 

综合 以 上 讨论 ,可 以 得 到 逆 和 矩阵 的 定义 如 下 。 

定义 1.1.6 $ 和 4 是 一 个 nxn 矩阵 。 称 矩阵 A 可 道 , 若 可 以 找到 一 个 nxn 和 矩阵 
AR AAT = ATA =I, FRR AT 是 矩阵 4 的 逆 矩 阵 。 

PSE, PR, EAE LEE TEE 

(1) FERRARI. HSL CE: 


(A+ B)* = A* + B* 
(A+B)? = AT4 BT 
(A+B)! =A" +B" 


(2) SEPERATE. KEREDE RREARRR 


(AB)? = BTAT 
(AB)# = BAM 
(AB)! = BT'A™! (4, 召 为 可 逆 的 正方 答 阵 ) 


(3) HW, HEA EE TB] SRM EK, 即 有 
(A) = (A), (ADT = (A717, (ABN = (AH 


因此 , 常常 分 别 采用 紧 痰 的 数学 符号 A, ATT 和 AT, 

(4) 对 于 任意 矩阵 A, 矩阵 B = ATA 都 是 Hermitian JERE. 车 A 可 逆 ， 则 对 于 
Hermitian 4ER B = AĦA, F ABA = AMAMAA™ =I. 

在 一 些 应 用 中 , 常常 涉及 一 个 n x n ERE 4 与 它 自身 的 乘积 ， 从 中 可 以 引出 两 个 重 

要 的 概念 。 

定义 1.1.7 HERE A... MARGIER (idempotent matrix), # A? = AA = Aa 

定义 1.1.8 SPE 4xn 称 为 对 合 和 矩阵 (involutory matrix), Æ A? = AA =I. 

与 矩阵 乘积 密切 相关 的 运算 是 两 个 矩阵 之 间 的 内 积 。 

SAECO M BECP? ARE. HE AM BM ARIE (A,B) 定义 为 


(A, B) = ANB (1.1.15) 
BRT EIR ERIE IEP, 还 可 定义 矩阵 的 指数 和 对 数 Poea 


exp(A) => a (4.1.16) 


k=0 


a 
lgl,- 4)= -55 a (1.1.17) 
k=0 


1.1 RMA 


如 果 和 矩阵 4 的 元 素 os; 都 是 参数 的 函数 ， 则 矩阵 的 导数 定义 为 


da da dain 
a FA a 
CON a. aon 
a A= “a “a a at (1.1.18) 
domi dama dann 
d dt dt 
问 样 可 定义 矩阵 的 高 阶 导数 。 
PERE HARD ESS 
fandt fandt - fandt 
faa _ Sant Sonat az J omat (1.19) 
f Gdt aaat ve J ondt 
同样 也 可 定义 矩阵 的 多 重 积分 。 
类 似 地 ,可 定义 矩阵 函数 及 其 导数 : 
(D 指数 矩阵 子 数 2a aa 
exp(At) = rra EE AE pen (1.1.20) 
(2) 指数 矩阵 郑 数 的 导数 “ 
Jenat) = Aexp(At) = exp(At)A (1.1.21) 
(3) 和 矩阵 乘积 的 导数 a aA aB 
到 (4B)= Gata (1.1.22) 


其 中 , 4 和 BB 部 是 变量 t 的 矩阵 函数 。 


11.3 向量 的 线性 无 关 性 与 非 奇异 矩阵 
考查 式 (LLD 描述 的 m x n 线性 方程 组 ， 它 可 写成 矩阵 方程 Ar = b. 若 记 A = 
lanan san) WR (1.1.1) 的 m PARTS SRS RS 
4,2, 十 Go22 H H Onin =b 
并 称 为 列 向 量 cl az, … ,an 的 线性 组 合 。 
定义 1.1.9 一 组 mm 维 向 量 {uu ,ms} 称 为 线性 无 关 , ENE 
Cty 十 tg + H Cnty =O 
只 有 零 解 o = cy = .… = cv = Oo 若 能 够 找到 一 组 不 全 部 为 零 的 系数 cca ,cn 使 得 
上 述 方程 成 立 , 则 称 m 维 向 最 组 {uua un} 线性 相关 。 
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向 量 的 线性 无 关 可 以 准确 地 描述 什么 样 的 n x n 线性 方程 组 As = 5 具有 唯一 的 非 
等 解 2。 

定义 1.1.10 一 个 nxn 矩阵 A 是 非 奇异 的 , SARA As = 0 只 有 零 解 
2=0. E 4 不 是 非 奇 异 的 , 则 称 A 奇异 。 

由 于 线性 方程 组 4z = 0 等 价 为 


alzl + gig t+: +4a,2, =O 


AP, A = [aa ,an]。 由 定义 1.1.10 立即 可 以 得 出 结论 : 当 且 仅 当 矩阵 4 的 列 向 
E ai,aa，… ,an 线性 无 关 时 , BMA Ac = 0 只 有 零 解 > = 0， 即 矩阵 A 是 非 奇 异 
的 。 由 于 这 一 结果 的 重要 性 , 现 用 定理 形式 叙述 之 。 

定理 1.1.2 nxn 和 矩阵 = [aan i ,an] 是 非 奇异 的 , SURE n tH 
Q1, 02，… ,Gn 线性 无 关 。 


1.1,4， 初 等 行 变换 与 阶梯 型 矩阵 


涉及 抵 阵 行 与 行 之 问 的 简单 运算 称 为 初等 行 运算 。 事 实 上 , 矩阵 的 初等 行 运算 往往 
可 以 解决 一 些 重 要 问题 。 例如 , 只 使 用 初等 行 运算 , BLT AE REREN ERE EERE 
和 矩阵 的 基本 空间 的 基 向 量 构造 等 复 杀 问题 。 

定义 1.1.11 SHR A c Cmx" 的 m 个 行 向 最 分 别 为 rra，…… ,rm。 下列 运 算 称 
为 矩阵 4 的 初等 行 运算 (elementary row operation) 或 初等 行 变换 ; 

(0 互 换算 阵 的 任意 两 行 , 如 r+ org 称 为 | 型 初等 行 变换 。 

(2) 一 行 元 素 同 乘 一 个 非 零 常数 a Mar, 一 rp， 称 为 开 型 初等 行 变换 。 

(3) 将 第 p 行 元 素 同 乘 一 个 非 零 常数 8 后 , 加 给 第 q 行 , 即 Br, + rd 一 rw HAI 

型 初等 行 变换 。 

车 矩阵 Any, 经 过 一 系列 初等 行 运算 ， 变 换 成 为 矩阵 Bo MEER A BA 
行 等 价 和 矩阵 (row equivalent matrix). 

一 个 非 等 行 最 左边 的 非 零 元 素 称 为 该 行 的 首 项 元 素 (leading entry)。 如 果 首 项 元 素 等 
于 1, 便 称 之 为 首 一 元 素 (leading 1 entry). 

从 矩阵 方程 的 求解 以 及 基本 空间 的 基 向 量 构造 等 应 用 出 发 , 常常 希望 将 一 个 矩阵 经 
过 初等 行 运算 之 后 ,变换 为 阶梯 型 矩阵 。 

定义 1.1.12 一 个 m x n ERER ANEA (echelon form) ERF, 若 

(1) 全 部 由 零 组 成 的 所 有 行 都 位 于 矩阵 的 底部 。 

(2) 每 一 个 非 零 行 的 首 项 元 素 总 是 出 现在 上 一 个 非 零 行 的 首 项 元 素 的 右边 。 

(3) 首 项 元 素 下 面 的 同 列 元 素 全 部 为 零 。 
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例如 ,下面 基 阶 梯 型 矩阵 的 几 个 例子 ; 


2 * 1 * x 
05 « 03 * 
A= oos A=jo oo 
000 000 
和 
3 * 0 1 * 
_|0 0 5 _|{o a9 
4=lo 0 of 47Jo 00 
000 000 


AP, * 表示 该 元 素 可 以 为 任意 值 。 

定义 1.1.13 [240 一 个 阶梯 型 矩阵 称 为 简约 阶梯 型 (reduced echelon form)j,， 若 每 一 
非 零 行 的 首 项 元 素 等 于 1 ( 即 为 首 一 元 素 )， 并 且 每 一 个 首 一 元 素 也 是 它 所 在 列 唯 一 的 非 
零 元 素 。 

给 定 一 个 m x n 矩阵 B, 下 面 的 算法 通过 初等 行 变换 将 吕 化 成 简约 阶梯 型 矩阵 。 

算法 1.1.1 (将 m x n 矩阵 化 成 简约 阶梯 型 ) 240) 

FR 将 含有 一 个 非 零 元 素 的 列 设 定 为 最 左边 的 第 1 列 。 

步骤 2 如 果 需 要 , 将 第 1 行 与 其 他 行 互 换 ， 以 使 第 1 个 非 零 列 在 第 1 行 有 一 个 非 
零 元 素 。 

FR 3 如 果 第 主 行 的 首 项 元素 为 e， 则 将 该 行 的 所 有 元 素 乘 以 Ha, 以 使 该 行 的 首 
项 元 素 等 于 1, 成 为 首 一 元 素 。 

FRA 通过 初等 行 变 换 , 将 其 他 行 位 于 第 1 行 首 一 元 素 下 面 的 全 部 元 素 变 成 0。 

BRS 对 第 i= 2,3,… ,mm 行 依次 重复 以 上 步骤 , 以 使 每 一 行 的 首 一 元 素 出 现在 上 
一 行 的 首 一 元 素 的 右边 , 并 使 与 第 i 行 首 一 元 素 问 列 的 其 他 各 行 元 素 都 变 为 0。 

下 面 的 定理 表明 ， 一 个 矩阵 通过 初等 行 变换 ， 可 以 变换 为 唯一 的 一 个 简约 阶梯 型 
se 

定理 1.1.3 ESE Amen BS TIE LEI MIE TS 
价 的 。 

证 明 参见 文献 [274, Appendix A]. 

当 矩 阵 的 初等 行 变换 产生 一 个 阶梯 型 矩阵 时 ， 若 将 阶 樟 型 矩阵 进一步 简化 为 简约 | 
梯 型 , 则 相应 的 初等 行 变换 将 不 会 改变 阶梯 型 矩阵 各 非 零 行 首 项 元 素 的 位 置 。 就 是 说 , 任 
何 一 个 矩阵 的 阶梯 型 的 首 项 元 素 与 简约 阶梯 型 的 普 一 元 素 总 是 处 于 相同 的 位 置 。 由 此 可 
以 引出 下 面 的 定义 。 

定义 1.1.14 B74P15 矩阵 Amyn 的 主 元 位 置 (pivot position) 就 是 矩阵 4 中 与 
阶梯 型 的 首 项 元 素 相 对 应 的 位 置 。 矩阵 A 中 包含 主 元 位 置 的 每 一 列 都 称 为 A 的 主 元 列 
(pivot column). 

下 面 的 例子 说 明 如 何 通过 初等 行 运算 ,将 一 个 矩阵 变换 为 阶梯 型 和 简约 阶梯 型 ， 以 
及 如 何 判断 原 矩阵 的 主 元 列 。 
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例 1.1.1 已 知 3 x 5 KER 
-3 6 -1 1 -7 
A=] 1-2 23 -1 
2 -4 5 8 一 4 
第 2 ITR -2, 加 到 第 3 行 : 并 且 第 2 行 乘 3, 加 到 第 1 行 , 则 
0 0 5 10 -10] 
Ani i -2 2 3 -1 
0 01 2 -2] 


第 1 ATH -2/5, 加 到 第 2 行 ; 同时 第 1 THe -1/5, 加 到 第 3 行 , 得 


0 05 10 -101 
4~|1 -2 0 -1 3 
6 00 0 0 


交换 第 1 行 和 第 2 行 , 又 得 到 


0 00 0 0 
下 面 画 有 横 杠 的 元 素 所 在 的 位 置 称 为 主 元 位 置 。 因此, 矩阵 A 的 主 元 列 为 第 1 列 和 第 3 


Bi, 8p 4 i 
| :| | | (4 的 主 元 列 ) 


1-20 -1 3 
4~|0 05 10 -10 (阶梯 型 ) 


5 
进一步 地 , 第 2 行 乘 以 1/5, 阶梯 型 简化 为 


1 -2 0 -1 3 
a-fo 01 2 3] (简约 阶梯 型 ) 
0 00 0 0 


1.1.5 “基于 初等 行 变换 的 矩阵 方程 求解 


下 面 讨论 如 何 利用 初等 行 变换 ， 对 撼 阵 方程 求解 。 有 关 初 等 行 变换 在 匹 阵 求 送 和 和 珑 
阵 基本 空间 的 基 向 量 构造 将 分 别 在 1.6.4 节 和 第 9 章 介 绍 。 

对 一 个 n x n ERDI As = b, 其 增 广 矩阵 B = [A, b] A nx (n+) He BH 
增 广 矩阵 B 使 用 初等 行 变换 ,使 得 最 左边 变 成 一 个 n x n EMERE, MERS R E 
阵 的 第 n+ 1 列 即 给 出 原 矩 阵 方程 hz = b 的 解 =。 这 样 一 种 方法 称 为 高 斯 消去 (Gauss 
elimination) 法 或 Gauss-Jordan 消去 法 。 

例 1.1.2 用 高 斯 消去 法 求解 线性 方程 组 


gı HTa + Ix, =6 


32, 十 47a — T3 一 5 


一 Z1 十 Z2 十 Za 一 2 


11 矩阵 的 基本 运算 
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首先 写 出 方程 组 和 增 / ERE 
21 + 2q +22, 一 6 
3x, +4rz 一 2Z3 =5 
-z +33 +23 =2 
第 2 行 减 去 第 工行 的 3 倍 , 得 
2Z1 十 zz 十 273 一 6 
£ — Tr; = -13 
一 31 +23 +13 =2 
第 1 行 加 到 第 3 行 , 有 
©, + T3 + 2x, = 6 
z 一 7 了 23 = 一 13 
2zz 十 3rs = 8 
第 1 行 减 去 第 2 行 , 结果 为 
zı 十 9zra = 19 


Za 一 77a = —13 


2r, +323 =8 
第 3 行 减 去 第 2 行 的 2 倍 , 则 
zı +923 = 19 


£o — T£; 一 一 13 


17za = 34 
第 3 TRA 1/17, MA 
zı +924 = 19 


za 一 7z3 = —13 


Za 一 2 

第 1 行 减 去 第 3 行 的 9 倍 , 又 有 
z =l 

T3 — Tx3 = —13 

z =2 


第 3 TRAT 后 ， 再 加 到 第 2 行 ， 最 后 得 


Zi 二 工 


11 2 

0 1 -7 -13 
-11 1 
11 2 6 
0 1 -7 -13 
02 3 8 
10 9 19 
0 1 -7 -13 
02 3 8 
10 9 197 
0 1 -7 -13 
00 17 34 
fio 9 19 
0 1 -7 -13 
[oo 1 2 
10 0 1] 
0 1 -7 -13 
00 1 2 
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即 道 过 高 斯 消去 法 得 到 方程 组 的 解 为 z1 = 1, za =1 利 zs = 2。 

初等 行 变换 方法 也 适用 于 m xn 矩阵 方程 Ar =b 的 求解 。 此 时 ， 需 要 将 增 广 和 矩阵 
化 成 简约 阶梯 型 矩阵 。 具 体 算法 如 下 。 

算法 1.1.2 (m x n EREDI Aa = b 的 求解 ) 240 

FR 1 KER APE B = (A, blo 

步骤 3 使 用 算法 1.1.1 HR ERE B 化 成 简约 阶梯 型 矩阵 , 它 与 原 增 广 算 阵 等 价 。 

PRI 从 简化 的 矩阵 得 到 对 应 的 线性 方程 组 ， 它 与 原 线性 方程 组 等 价 。 

步骤 4 得 到 新 的 线性 方程 组 的 通 解 (general solution). 

例 1.1.3 考 个 线性 方程 组 


2a, 十 272 一 Z3 =1 
一 271 — 2r + rs = 1 
271 十 2zra +523 = 5 


22, — 204 — 2r = -3 


其 增 广 和 矩阵 为 


1 1 
2 2-1 1 1 1-5 3 
-2 -2 4 1| |g 4 1 
2 2 5 5 2 2 5 5 
-2 -2 -2 -3 -2 -2 -2 -3 


1 1 1 1 
1 1-3 3 11 -2 3 
-2 一 2 4 1 一 0 0 3 2 
2 2 5 5 0 0 6 4 
-2 -2 -2 -3 00 -3 -2 


11 -4 4 11-3 3 

2 
a0 3 2| . Joo 1 3 
00 6 4 00 6 4 
0 0 -3 -2 0 0 -3 -2 
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利用 初等 行 变换 , 使 第 2 行 首 项 元 素 1 的 上 边 和 下边 的 元 素 全 部 变 为 0, 得 到 


1 1 5 
1 1 -3 3 110 % 
2 2 
00 1 $ > Joo1 3 
00 6 4 0000 
00 -3 -2 000 0 
对 应 的 线性 方程 组 为 
5 
m+ = 
z=2 
3 3 


该 方程 组 有 无 穷 多 组 解 , 其 通 解 为 x1 — -ata = 中 .着 ay = 1, 则 得 一 特 解 (particular 
solution) 为 z; = -4,2 =1 fia, = 2, 
如 果 线 性 方程 组 (1.1.1) 的 右边 全 部 等 于 零 ， 即 
QT1 十 Q1272 + 二 QnTn = 0 
Q21T1 十 G2272 十 十 QonTn = 0 


{1.1.23) 


QmiT1 + mete 十 ,十 Omak =O 


则 称 之 为 齐 次 线性 方程 组 (homogeneous linear system of equations) o 

显然 , wm = [0,0,.… 0T 是 任何 齐 次 线性 方 穆 组 的 一 个 解 。 这 样 的 全 零 解 称 为 平凡 解 
(trivial solution). 平凡 解 以 外 的 任何 其 他 解 称 为 非 平 凡 解 (nontrivial solution). 

齐 次 线性 方程 组 - - 定 有 解 , 因为 它 至 少 有 一 个 平凡 解 。 在 这 个 意义 上 , 齐 次 线性 方程 
组 是 一 致 的 。 齐 次 线性 方程 组 的 解 只 有 两 种 可 能 : (1) 只 有 唯一 的 平凡 解 ; (2) 除了 平凡 
解 外 , 还 有 无 穷 多 个 非 平 凡 解 。 

任何 一 个 复 矩 阵 方程 AmE = bme 都 可 以 写 为 


(A, FiAD@, tja) =b, +48, (1.1.24) 


RP, Aneb, AA, 0,0, 分 别 代表 Ao, b 的 实 部 和 虚 部 。 展 开 上 式 ,得 


A,@, 一 Li 一 有 (1.1.25) 
A,x, + A,z; = b; (1.1.26) 


FASE MRC, EAA SIA 
(4 ilek (11.27 


TH, Sn 个 复 未 知 数 的 m 个 复方 程 转变 为 含 m PERA 2m 个 实 方程 。 
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1.2 向量 空间 、 内 积 空间 与 线性 映射 


虽然 许多 工程 问题 也 可 以 不 使 用 线性 空间 进行 研究 ,但 是 线性 空间 的 使 用 却 可 以 给 
问题 的 描述 带 米 诸多 的 方便 。 本 质 上 讲 ， 线 性 空间 是 某 一 类 事物 在 矩阵 代数 里 的 一 个 抽 
和 象 的 集合 表示 , 线性 映射 或 线性 变换 则 反映 线性 空间 中 元 素 间 最 基本 的 线性 联系 , 它们 
为 线性 函数 的 研究 提供 了 极 大 的 方便 。 可 以 说 ， 线 性 代数 就 是 研究 线性 空间 和 线性 变换 
理论 的 数学 分 支 。 例如 , 一 个 2 x 1 向 量 [eo yo] 可 以 想象 成 用 笛 卡 儿 坐 标 z,y 表示 的 
平面 上 的 某 个 点 。 类 似 地 ,一 个 3 x 1 向 量 [zo,go, zol? 可 认为 是 三 维 空间 的 一 个 点 。 我 
们 生活 的 实际 世界 就 是 一 个 典型 的 三 维 空间 。 依 此 类 推 ,一 个 n x 1 向 量 可 视 为 n 维 空 
闻 的 一 个 点 。 因此, n 维 空间 很 自然 地 是 所 有 nx 1 向 量 的 集合 。 显然 , n 维 空间 是 一 维 
空间 ( 即 直线 )、 二 维 空间 (AUSF TET) 和 我 们 居住 的 三 维 空间 的 推广 。 


1.2.1 ”集合 的 基本 概念 


在 引出 向 量 空间 和 子 空间 的 定义 之 前 , 先 介绍 集合 的 有 关 概 念 。 MEN, 集合 就 是 
某 些 元 素 的 集体 表示 。 

POMBE SERA 8 = {]}， 花 括号 内 为 集合 5 的 元 素 。 如 果 集合 的 元 素 只 
ALAN, 通常 便 在 花 括号 内 罗列 出 所 有 的 元 素 , 例如 5 = {a,b,c,d} HS 是 满足 某 种 性 
质 P(x) 的 元 素 r 的 集合 , 则 记 为 5 = {fz: P{z)}。 

下 面 是 与 集合 运算 有 关 的 几 个 数学 符号 ; 

Y 表示 “对 所 有 o” 

zeA 读 作 “zx 属于 集合 4”， 意 即 z 是 集合 4 的 一 个 元 素 ; 

zA 表示 2 不 是 集合 4 的 元 素 ; 

3 代表 “使 得 ”; 

3 意 即 “存在 ”; 

A> BRR“ HES A WAAR B” 或 “4 意味 着 B”。 

例如 ,“ 在 集合 Y 中 存在 一 个 零 元 素 0, 使 得 加 法 2 40-2 042 对 于 V 中 的 所 
有 元 素 z 均 成 立 ” 这 一 宛 长 的 叙述 , 便 可 用 上 述 符号 简洁 地 表示 为 

30eV 3 gz+8=r=ĝ+r, VrEeV 
令 A 和 B 为 集合 , 则 集合 有 以 下 基本 运算 。 
FES AC Bitte “HA 4 包含 于 集合 B” 或 “4 是 B 的 一 个 子 集 ”, 意 指 4 的 每 


一 个 元 素 都 是 B 的 元 素 , WeeAsreB. 
E ACB, WHA B 的 一 个 真子 集 , 符号 BD ABI“ BMA ARBRE A 
的 超 集 (superset)”。 没有 任何 元 素 的 集合 记 作 Ø, 称 为 空 集 。 
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符号 A= Bi “RE AMT B”, RELACBA BCA, RreAsre BH 
合 4 的 元 素 一 定 是 集合 B 的 元 素 , 反之 亦 然 )。 A=B 的 否定 写作 AZB, BA 4 不 属 
于 B, 反 过 来 B 也 不 属于 A 
A Wl BHE (union) 记 作 AUB, 定义 为 
X=AUB={xeX: re AMre B} (1.2.1) 


它 表 示 并 集 X 的 元 素 由 属于 集合 4 或 B 的 元 素 一 起 红 成 。 
集合 4 和 B 的 交集 (intersection) 用 符号 ANB 表示 , 定义 为 


X=ANB={teEX: rEA 和 xe B} (1.2.2) 


即 交 集 的 元 素 由 4 和 B 共同 的 元 素 构成 。 
符号 Z=A+B ETRA AMB 的 和 集 , 定义 为 


2=A+B={z=r+yeZ: ze A, yeB} (1.2.3) 


即 和 和 集 的 元 素 由 4 的 元 素 与 B 的 元 素 之 和 组 成 。 
集合 差 (set-theoretic difference) “A 减 B” 定义 为 


X=A-B={reX: ce, rë B} (1.2.4) 


也 称 差 集 。 差 集 也 可 用 符号 X = A\ BB 表示 。 
子 集合 4 在 集合 X 中 的 补 集 (complement) 定义 为 


A-=X-A={zeX: zr¢A} (1.2.5) 


BX 和 YY 为 集合 , Hee X 和 yeY, 则 所 有 有 序 对 (ordered pair) (z, y) 的 集合 
WAX xY, MARA X 和 了 的 笛 卡 儿 积 , 即 


XxY={(z,y): ce X, yEeY} (1.2.6) 


类 似 地 ,Xi x XQ x … xX, 表示 n 个 集合 X1, Xo o Xn 的 笛 卡 几 积 , RRA n 


元 组 (ordered n-ples) (@,,22,+'+ 1 Z_)e 
上 述 集合 的 有 关 概 念 及 符号 , 在 本 书 中 将 经 常用 到 。 


1.2.2 向量 空 间 

定义 1.2.1 PULMU 以 向 量 为 元 素 的 集合 V 称 为 向 量 空 间 ， 若 加 法 运算 定义 为 
两 个 向 量 之 间 的 加 法 ,乘法 运算 定义 为 向 量 与 标量 域 S 中 的 标量 之 间 的 乘法 ， 并 且 对 于 
向 量 集合 V 中 的 向 量 zy, w 和 标量 域 8 中 的 标 基 al, az， 以 下 两 个 闭合 件 和 关于 加 法 
及 乘法 的 八 个 公理 (axiom) [也 称 公设 (postulate) 或 定律 (law)] 满足 ; 
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闭合 性 (closure properties) 

(cl) 苦 zEV 和 WeV, 则 z+geV， 凤 VV 在 加 法 下 是 闭合 的 , 简称 加 法 的 闭合 
性 (closure for addition); 

(c2) Æ a 是 … 个 标量 , y EV, Wanye Y, 即 7 在 标量 乘法 下 是 闭合 的 ， 简 称 标量 
乘法 的 闭合 性 {closure for scalar multiplication}. 

加 法 的 公理 

(al) z 十 8 一 3 二 2， YET,， 称 为 加 法 的 交换 律 (commutative law for addition); 

(a2) e+(yt+w)=(e@t+y)+u, Ysy, eT， 称 为 加 法 的 结合 律 (associative law 
for addition); 

(a3) 在 Y 中 存在 一 个 零 向 量 0, 使 得 对 于 任意 向 量 ye 了, HH yt0=y (FAR 
的 存在 性 ); 

(a4) 给 定 一 个 向 量 y e V, 存在 另 一 个 向 量 -y €V 使 得 8 二 (-y) =0 = (-y) +y 
( 负 向 基 的 存在 性 )。 

标量 乘法 的 公理 

(el) a(by) = (ab)y 对 所 有 向 量 y 和 所 有 标量 ab 成 立 ， 称 为 标量 乘法 的 结合 4 
{associative law for scalar multiplication); 

(s2) a(x +y) = am + ay 对 所 有 向 量 sy eV 和 标量 成 立 ， 称 为 标量 乘法 的 分 配 

. 4% (distributive law for scalar multiplication); 

(93) (a +b)y = ay + by 对 所 有 向 量 y 和 所 有 标量 a,b 成立 (标量 乘法 的 分 配 律 ); 

(04) ly =y 对 所 有 y EV 成 立 ， 称 为 标量 乘法 的 单位 律 (unity law for scalar multi- 
plication). 

由 于 向 量 空间 服从 向 量 加 法 的 交换 律 、 结 合 律 以 及 标量 乘法 的 结合 律 、 分 配 律 ， 所 


以 定义 1.2.1 给 出 的 向 量 空间 为 线性 空间 。 


WRV 中 的 向 量 为 实 向 量 ,并且 标 量 域 为 实数 域 , 则 称 V 是 实 向 量 空间 。 车 VV 中 


的 向 量 为 复 向 量 , 且 标 量 域 为 复数 域 , ERV 为 复 向 量 空间 。 


如 下 面 的 定理 所 归纳 的 那样 ,向量 空 间 还 有 其 他 一 些 有 用 的 性 质 。 
定理 1.2.1 如 果 V 是 一 个 向 量 空间 , 则 

(1) FAE o 是 唯一 的 。 

(2) 对 每 一 个 向 量 y, 加 法 的 逆 运 算 -y 是 唯一 的 。 

(3) 对 每 一 个 向 基 y, EA Oy = 0. 

(4) 对 每 一 个 标量 a, 恒 有 a0 = 0。 

(5) 若 ay =0, N) a=0 RF y=0. 

(8) (-l)y = —y. 

证 明 参见 文献 [240, pp.365~366]. 

R 和 CO" 是 向 量 空间 最 重要 的 两 个 例子 。 
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对 于 一 个 正 整数 n, RRMA n 元 组 [ziza，… ,za] 的 集合 记 为 R", 它 的 每 
一 个 元 素 称 为 向 量 ( 均 为 n x 1 向 量 )。 Rib, € n = 1, W 辟 的 元 素 称 为 标 其 。 如 果 
对 集合 R 定义 两 个 向 其 的 加 法 和 一 个 标量 与 -个 向 量 的 乘法 ， 则 称 R 为 n 阶 实 向 量 
室 间 。 

类 似 地 , 若 在 复数 的 所 有 有 序 n 元 纽 的 集合 Cn 内 定义 向 量 加 法 和 标 基 乘法 ， 则 称 
C” 为 n 阶 复 向 量 空间 。 

在 很 多 场合 , 我 们 并 不 对 n MAERA R RA C" 中 所 有 的 向 量 组 合 感 兴趣 ,而 
只 是 关心 向 量 空间 中 某 个 特定 的 向 量子 集合 W. 以 E 的 子 集合 为 例 ， 

W ={2:2=[2,,22,0)7, 2, Mle, 为 实数 } 

从 几何 的 观点 看 , R 是 一 个 三 维 空间 , 而 W 是 二 维 o-y 平面, 可 以 用 R 表示 。 

定义 1.2,2 OV AW 是 两 个 向 量 空间 , 2 WV 中 一 个 非 空 的 子 集合 , WEF 
集合 W BV 的 一 个 子 空间 。 

显然 , 一 个 n 维 零 向 量 是 n 阶 向 量 空间 的 一 个 子 空间 。 在 本 书 中 , 假定 子 空间 W 是 
+a, 零 向 量 只 是 子 集合 W 中 的 一 个 元 素 , 而 非 唯 一 的 元 素 。 

下 面 的 定理 提供 了 确定 BPRS WOR R 的 子 空间 的 一 种 简便 方法 。 

定理 1.2.2 R 的 子 集合 W 是 Re 的 子 空间 ， 当 且 仅 当 以 下 三 个 条 件 满足 ; 

(1) 每 当 向 量 ey ATW, Mety 也 属于 Ww, 即 满足 加 法 的 闭合 性 : 


TYyEW > (w+ EW 


{2) 每 当 向 量 > ATW, Ho 为 标量 时 , W ar 属于 W， 即 满足 与 标记 乘积 的 财 
合 性 。 

(3) FM OW 的 元 素 。 

证 明 [240,P.169] 充分 性 证 明 。 假定 W 是 满足 上 述 条 件 (1) 和 (2) 的 RRA. 
为 了 证 明 W 是 R 的 子 空间 , 必须 证 明 W 满足 向 量 空间 的 10 个 基本 性 质 (定义 1.2.1)。 
FAF (1) 和 (2) 意味 着 子 集合 W 满足 定义 1.2.1 中 的 性 质 (cl) 和 (e2)。 注意 到 W 是 下 
的 子 集合 , 所 以 W 也 满足 定义 1.2.1 中 的 性 质 (al), {a2)，(s1)，(s2)，(s3) 和 (s4)。 由 于 
非 空 的 子 集合 包含 零 向 量 , 故 (a3) 满足 。 容易 看 出 -x= (Do. Alt, WR sew, N 
由 条 件 (2) 知 -e eW, IMEX 1.2.1 中 的 基本 性 质 (a4) 也 满足 。 由 于 W 满足 定义 1.2.1 
中 的 10 个 基本 性 质 , OW 十 Rr 的 子 空间 。 

必要 性 证 明 。 令 WR” 的 子 空间 , 则 性 质 (a3) 意味 着 零 向 量 是 子 空间 W 的 一 个 
元 素 。 另外， 学 空间 满足 性 质 (cl) 和 (c2), 意味 着 条 件 (1) 和 (2) 在 W 中 成 立 。 a 

EX 1.2.3 HAA B 十 向 量 空间 V 的 两 个 向 量子 空间 ， M 


A+B={aty: ZE A, ye B} (1.2.7) 


称 为 子 空间 4 和 B 的 和 , 而 
ANB= {zeEV: ceAhae B} (1.2.8) 
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称 为 子 空间 4 和 B 的 交 。 

EX 1.2.4 HAN B RABE V 的 两 个 子 空间 , 并 满足 V = A+B MANB = 
{0}, WAV 是 子 空间 4 和 B 的 直接 求 和 , 简称 直 和 (direct sum), WE V = Ae B. 

定理 1.2.3 FAM BRAS V 的 向 其 子 空间 , A+ BM ANB 也 是 VV 的 
向 量子 空间 。 

证 明 由 村 向 量子 空间 4 和 B 都 包含 零 向 量 , 故 0= 0+0 表明 A+R 也 包含 零 向 
i. Hae’ cA y, y €B, He WH, Wl (et y)+(e'+y’) = (et+e)+(yty’) E A+B 
ATER 4 和 B 分 别 满足 加 法 的 闭合 性 ) 且 cet y) = ez 十 cy E A+B (HATE 
间 4 和 B 均 具 有 与 标量 乘法 的 闭合 性 )。 这 说 明 A+B 也 具有 加 法 的 闭合 性 和 与 标量 乘 
法 的 闭合 性 , 即 A+ 8 满足 定理 1.2.2 的 3 个 条 件 。 因此 , 4 十 召 是 向 量子 空间 。 类似 地， 
可 以 证 明 ANB 也 是 向 量子 空间 。 a 

推论 1.2.1 HAN BAAR V 的 子 空间 , U AtB EV 中 包含 向 量子 空间 
4 和 吕 的 最 小 向 是 子 空间 。 

推论 1.2.2 HAA B 是 向 量 空 间 V 的 子 空间 , 则 子 空间 的 交 ANB 是 V 中 既 属 
TA 又 属于 B 的 最 大 向 量子 空间 。 

以 上 两 个 推论 的 证 明 参 见 文献 [40]. 


1.2.3” 实 内 积 空间 


向 量 空间 只 定义 了 向 量 的 加 法 以 及 标量 与 向 量 的 鸳 法 ,并且 向 量 空间 的 和 、 交 与 直 
和 等 也 只 涉及 两 个 向 量 空间 的 元 素 ( 即 向 量 ) 之 间 比 较 简单 的 关系 。 虽然 这 些 运算 非常 重 
要 , GVA RMN ERAN ARERR EA. 因此， 需要 对 向 量 空间 中 的 
向 量 定 义 其 他 运算 。 最 自然 的 联想 是 应 该 增加 关于 两 个 向 量 之 间 的 内 部 乘积 (简称 内 积 ) 
的 定义 。 这 就 引出 了 内 积 空间 的 概念 。 这 里 先 介绍 实 内 积 空 间 ， 下 一 小 节 再 讨论 复 内 积 
空间 。 

定义 1.2.5 实 内 积 空间 (real inner product space) 是 满足 下 列 条 件 的 实 向 量 空间 L, 
即 对 吾 中 每 一 对 向 量 r,y， 存 在 向 量 z 和 的 内 积 Gey) 服从 以 下 公理 ; 

(1) (a,2)>0, Va #0, 称 为 内 积 的 严格 正 性 (strict positivity) 或 称 内 积 是 正定 的 

(positive definite), 并 (a, boldmath x) = 0 + z= 0; 

2) (æy) = 人 ys)， 称 为 内 积 的 对 称 性 (symmetry); 

(3) (加 ,2 十 2 = (ay) + (x, z}, Vey, 2: 

(4) (oa, y) = a(x, y) 对 所 有 实 向 量 xz,y 及 所 有 实 标量 a 成 立 。 

如 果 对 实 n 阶 向 量 空间 R 定义 向 量 L = [ttp n] y = MY Ya] 
间 的 内 积 为 典范 内 积 (canonical inner product) 


fy) = Sian (1.2.9) 
i=l 
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则 称 R” 为 n 阶 Euclidean 空间 或 者 Euclidean n 空间 。 由 于 向 量 内 积 通常 采用 上 述 定 
义 ， 所 以 在 一 般 情况 下, 常 使 用 符号 Re 表示 Euclidean n 空间 。 
令 ryt) 是 R AMER, 并 且 的 定义 域 为 a,b W x(t) A ye) 之 间 的 
内 积 定义 为 
det f? 
(ev) E f evoa (1.2.10) 
可 以 验证 ,该 内 积 满足 内 积 的 四 个 公理 ,所 以 R 是 一 维 内 积 空间 。 但 是 ， 由 于 这 个 空间 
不 是 有 限 维 的 ， 所 以 它 不 是 Euclidean 空间 。 
范 数 是 另 一 种 重要 的 向 量 运算 ， 它 与 内 积 密切 相关 。 
EX 1.2.6 & RR 是 一 个 实 内 积 空间 ,并且 ee EM, 则 的 范 数 GRKE”) 记 
作 zl， 并 定义 为 
lzl = (æ, æ) (1.2.11) 
长 度 为 1 的 向 量 称 为 单位 向 其 (unit vector). 向量 x Ay SERENA 
d=]æ-yll= (z -y2 - y)? (1.2.12) 
特别 地 , 对 于 Euclidean n 空间 , 向 量 范 数 取 


ello = yai tag +: + og (1.2.13) 


并 称 为 向 量 > 的 Euclidean KÈ; 而 向 量 的 距离 则 取 


jæ- ylz = Va =b} + (ag — bg)? +--+ + (an — Bn)? (1.2.14) 


并 称 之 为 向 量 zx 和 y 之 间 的 Euclidean 距离 。 
下 面 是 实 内 积 空间 的 范 数 具 有 的 一 般 性 质 。 
定理 1.2.4 在 实 内 积 空间 里 ， 范 数 具 有 以 下 性 质 ; 
(1) ol =0, 并 H Jell > 0, Y s # Os 
(2) lex] = lejal 对 所 有 向 基 > 和 标量 © 成 立 : 
(3) 范 数 服从 极 化 恒等式 (polarization identity) 


(æy) = 3 (le tyl? = le- yl?) Va,y (1.2.15) 
(4) 范 数 满足 平行 四 边 形 法 则 (parallelogram law) 
læ + ull? + læ — yl? = 2lel + 2y, Vey (1.2.16) 
(5) 范 数 服从 Cauchy-Schwartz 不 等 式 
Kæ, yy < læg (1.2.17) 


等 号 (wy) = lz 用 gl 成 立 , SAR y = cw, 其 中 , c 为 某 个 非 零 常数 。 
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(6) 范 数 满足 三 角 不 等 式 


(1.2.18) 
lx, z) = 


læ +yli < iel + ivi, Vay 

证 明 根据 范 数 的 定义 ， 性 质 (1) 显然 成 立 。 由 于 lez? = (ew, ca) 
je 上 2， 改 立即 有 jezll = lellei, 性 质 (2) 成 立 。 

性 质 (3) 和 (4) 的 证 明 : 由 范 数 的 定义 以 及 内 积 的 公理 ， 易 知 


læ + yi? = (x+y +y) = (s,s ty) + (ye + y) 
= (z, y) + (x,y) + (y, x) + (y, y) 
= fell? + yl? +2@,y) 
在 上 式 中 用 -y = (ly Ey, ME 
læ- yi? = loll? + yl? — 2(%, y) 
Da A ERRA, 分别 有 
læ + ull? — le- yl? = 4(z, y) 
fæ + yll? + jæ- yh? = 2 (lell? + lel?) 
以 上 两 式 即 分 别 是 极 化 恒等式 和 平行 四 边 形 法 则 。 
性 质 (5) 的 证 明 ; € z=0 或 者 y=0, 则 由 于 10|| = 0 H Cauchy-Schwartz 不 等 式 
显然 成 立 。 现 假设 x My 都 不 是 零 向 量 , $ u= |e x M v = lyy WAM jul] =1 
AM lol =1, #8 


0 


(æy) = (sil, lylo) = letliyl v) 
下 面 证 明 (uo <1: 由 极 化 恒等式 和 平行 四 边 形 法 则 ,得 


(06.0) < F (e+ ol e = vf) = F (Bt? + alll?) =1 


Au Al o 分 别 是 长 度 为 1 的 向 量 。 
上 ,人 = æ, cz)| = lelle? = [all 
等 号 成 立 , 充分 性 得 证 。 反之 , 令 He, 
felllaell? = lælllyl 与 假设 Key) = lel 
号 成 立 的 必要 性 得 证 。 

TEJ (6) 的 证 明 : 由 前 面 的 结果 


因此 ，Cauchy-Schwartz 不 等 式 成 立 。 $ y = ca, 
vib Ei y = ce BY, Cauchy-Schwartz 不 等 式 中 的 
v)! = lælliyl AF y A cw, lr, | A Ke, car) = 
loll 相 耶 盾 。 因 此 ，Cauchy-Schwartz 不 等 式 的 等 


则 


æ+ wll? = læ? + lll? + 22, y) 和 (ay) < le, y) 


知 


læ + yl? < lel? + Iyl? + 2e, y) 


对 上 式 运用 Cauchy-Schwartz 不 等 式 ， 


立即 知 


læ + yl? < æl? + 


此 即 三 角 不 等 式 。 


ull? +22} Hull = (ell + eiD? 
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1.2.4 ARZE 


现在 讨论 复 内 积 空间 。 

定义 1.2.7 HAREN (complex inner product space) 古 满 足 上 列 条 件 的 复 向 量 空 
WC: 对 C 中 每 一 对 向 量 sy, 存在 复 向 量 > My 之 间 的 内 积 (zw,9) 服从 以 下 公理 : 

(1) x 40> (2,2) > 0,， 称 为 内 积 的 严格 正 性 成 称 内 积 是 正定 的 ， 

(2) (my) = (y, a), PRA AST EME (conjugate symmetry) 或 Hermitian 性 ; 

(3) (m,y +z) = (x,y + (2,2), 对 所 有 向 量 oy, 2 成 立 ; 

(4) (ca,y) = À (x,y) 对 所 有 复 向 基 2, y 及 所 有 复 标量 = 成 立 。 

一 个 有 限 维 的 复 内 积 空间 内 的 复 向 量 we = [ey ag, Ea] Ty = Yj 之 
间 的 内 积 通常 采 几 复 向 量 的 典范 内 积 表 示 ， 即 


(x,y) = zag = Satu (1.2.19) 

因此 , 在 一 般 文献 中 ， 常 使 用 符号 C" Ra ER Ae AY n 维 复 内 积 空间 。 

与 实 内 积 空间 一 样 , 复 内 积 空间 Co 内 向 量 z 的 范 数 æl 也 定义 为 el = (x, s) 
类 似 地 , Æ el = 1， 则 称 z 为 单位 长 度 向 量 。 对 于 复 册 积 空间 Cm NRO oy, 
它们 之 间 的 距离 定义 为 |z 一 |。 

下 面 是 复 内 积 空 间 的 常用 范 数 性 质 。 需 要 注意 的 盐 ， 复 内 积 空间 和 实 内 积 空间 的 某 
些 范 数 性 质 有 所 不 同 。 

定理 1.2.5 ”在 复 内 积 空间 里 , WRAK ATHE: 

(1) Hol] =0; lizll > 0, Va #0; 

(2) lew = lollzl, 其 中 , lol 表示 复数 c 的 模 : 

(3) 极 化 恒 等 


1 = . + : 
(ew) = z (le + wll? -le ~ wl? — J lle + jul? +ile ~ il’) (1.2.20) 


(4) 平行 四 边 形 法 则 
le + yl? + le = wll? = 2læl? + 2y? (1.2.21) 
(8) Cauchy-Schwartz 不 等 式 |(e,u)| < lælllyl 等 式 Kev)! = lelillyl| WIL, AL 
仅 当 3 = cx， 其 中 ，e 为 某 个 复数 ; 
(6) 三 角 不 等 式 jz + yl < æl + [ele 
证 明 top2sa 与 定理 1.2.4 ( 实 内 积 空间 的 范 数 性 质 ) 的 公式 相 比 ,定理 1.2.5 中 只 
有 极 化 恒等式 不 同 。 因 此 ,这 里 只 证 明 极 化 恒等式 , 其 他 性 质 的 证 明 与 定理 1.2.4 类 似 。 
利用 复 内 积 空间 关于 内 积 的 公理 易 知 


z+ yl = iel? + yl + ey) + (ue) o) 
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在 上 式 中 用 -y RE y, RARA -1, 得 
-lz — yl? = -læl? — lul? + ey) + (vy, 2) @) 
ER (1) 中 用 jy RE y, 然后 两 边 同 乘 以 -j, 则 有 
-ile + jy = -i llel? —jllyl? + @,y) ~ (y, 72) (3) 
ER (3) 两 边 同 乘 以 -1 并 上 且 用 -y 代替 y,， 即 得 
ile — jul? = illel? +5 lull? + (sy) — (y, 2) (4) 


将 式 (1) ~ 式 (4) 相 加 , 立即 有 


e+ yl? — æ- yl? ile til? jle- jyh? = 4e y) 


此 邮 是 极 化 全 等 式 。 [J 
顺便 指出 , 在 有 些 书 (如 文献 [40] 等 ) 中 , 复 向 量 的 内 积 定义 为 
(2,9) = oat 
i=l 


此 时 ， 极 化 恒等式 变 为 
人 2) = ; (læ + yf? — læ- yl? + Sle +iy -jle ~ ivil?) 

这 一 点 希望 引起 注意 。 
1.2.5 ”线性 映射 

以 上 讨论 了 向 量 空间 内 向 基 的 有 关 运 算 : 向 量 加 法 、 向 量 与 标量 的 乘法 、 两 个 向 芋 
之 闻 的 内 积 以 及 向 量 的 范 数 , 但 尚未 涉及 两 个 向 量 空间 之 间 的 转换 关系 。 然而 , 在 技术 科 
学 、 社 会 科学 和 数学 的 一 些 分 支 中 ,不同 向 量 空间 内 向 量 之 间 的 线性 变换 起 着 重要 的 作 
用 。 因此 , 为 了 研究 两 个 向 量 空间 之 间 的 关系 , 有 必要 考虑 能 够 实现 从 一 个 向 量 空间 到 另 
一 个 向 量 空间 的 转换 关系 的 函数 。 事 实 上 , 在 我 们 的 日 常生 活 中 , 也 经 常 遇 到 这 种 转换 。 
当 我 们 欲 将 一 幅 图 像 变 换 为 另 一 幅 图 像 时 , 通常 会 移动 它 的 位 置 , 或 者 旋转 它 。 例如, 函 
数 (x,y) = (ax, By) 就 能 够 将 图 像 的 > 坐标 和 y 坐标 改变 尺度 。 根据 a 和 8 大 于 1 还 
是 小 于 1, 图 像 就 能 够 被 放大 或 者 缩小 。 

下 面 从 线性 映射 的 角度 ,对 向 量 空间 的 结构 作 一 釉 讨 论 。 

映射 本 身 就 是 一 类 函数 ， 因 此 常 使 用 一 般 函 数 通 用 的 符号 来 表示 映射 。 若 令 了 是 
Euclidean m 空间 R” 的 子 空间 , W 是 aR 的 子 空间 , 则 


T:VoW (1.2.22) 
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称 为 子 空间 VY 到 子 空间 W 的 映射 (或 函数 、 变 换 ), 它 表 示 将 子 空间 V 的 每 一 个 向 量变 
成 子 空间 W 的 一 个 相对 应 向 量 的 一 种 规则 。 于 是 , Hee V Awe Ww, Wai w ke 
的 映射 或 变换 ， 即 有 

w=T(v) (1.2.23) 
并 称 子 空间 V WU T 的 始 集 (initial set) RE (domain), PW  T AUR (final set) 
或 上 域 (codomain)。 

Hu 是 向 量 空间 Y 的 某 个 向 量 , 则 TCv) 称 为 向 量 v 在 映射 T PAIR (image), 或 
Wu T EA v 的 值 (value), 而 o 称 为 (vw) 的 原 像 。 对 于 向 量 空间 V 的 子 空间 A, 映射 
T(A) 表示 子 空间 A 的 元 素 ( 即 向 量 ) 在 映射 了 下 的 值 的 集合 ,写作 

T(A) = {T(v): v € A} (1.2.24) 


特别 地 , TV) 代表 对 V 内 所 有 向 量 的 变换 输出 的 集合 ， 称 为 映射 T 的 信 域 (range), 其 
符号 为 
T(V) =Im(T) ={T(v: v € V)} (1.2.25) 
一 般 地 , BURT: Vio WER Im(T) 是 W 的 一 个 子 集合 。 如 果 Im (T) = W, 即 
映射 的 值 域 等 于 向 量 空 间 W, 则 称 了: Vi W 为 满 射 人 surjective)。 BAL T: V = W EK 
为 单 ( 值 映 ) 射 (injective), 车 它 将 V 的 不 同 向 量 映射 为 W 的 不 同 向 量 , B 


vv EV, Av, > T(r) TW) 


或 者 
T(e:)=T(v) > 0 一 02 

特别 地 , BRAT: Vo W 既是 单 射 , 又 是 满 射 , 则 称 之 为 一 对 一 映射 (bijective) ,一 
ASO T: V o W 存在 着 映射 T: W oo Ve BER T 的 任务 就 是 将 映 
射 了 所 做 过 的 每 一 件 事情 恢复 原状 。 因 此 ， 若 Tv) = w, M Tw) = v. HER 
Æ, T7UT(v)) =v, Yace 和 TITri0o) = w, Vwe Wo 

SMES MBAIVE Anna 也 可 视 为 将 O 的 向 量 z 变换 为 Cm 的 某 个 向 量 
ys Az 的 映射 Ta 二 4z， 故 矩阵 与 一 向 量 的 乘法 常 称 为 该 向 量 的 矩阵 变换 (matrix 
transformation). 

考察 线性 变换 y = T(x) = rz。 当 0 < r < 1 时 , 称 线 件 变 换 T(=) = rz ARR 
SH (contracting mapping), 因为 工 在 x 的 像 点 rz 的 向 量 长 度 小 于 s 的 长 度 。 相反 , 车 
r>1, WEE T(x) = rz 为 膨胀 映射 (dilation mapping), 因为 rz 是 将 x 拉 长 的 结果 。 

例 1.2.1 下 面 是 两 个 变换 工 : BB RP: 


By + a. T 
Ta) = [BOS], Re. 2H lye) 


T(z) = K 72] ， Hp, æ= [ay 22, 25)" 
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EX 1.2.8 SV AW 分 别 是 Rm 和 R 的 子 空间 , AT: Vo W 是 一 映射 。 
PET 为 线性 映射 或 线性 变换 ,着 对 于 wv eV, we W 利 所 有 标量 c， 映 射 7 满足 线性 关 
系 式 

Tw +w)=T(v)+T(w) (1.2.26) 
Al 
T (cv) = cT(w) (1.2.27) 


定义 中 的 两 个 条 件 也 可 合并 写作 


Tiav + egw) = ¢, T(v) + © T(w) (1.2.28) 
A, AT uy, wo，… ,tp 均 为 线性 变换 T 的 域 , 并 反复 使 用 式 (1.2.28), 则 可 以 得 到 
Tot + cat +- + epup) = eT (u) + coT (ug) +--+ pT (u) (1.2.29) 
这 一 公式 在 丁 程 和 物 埋 中 被 称 为 蕉 加 原理 (superposition principle). 如果 t, ttz,- ,ap 
分 别 为 某 个 系统 或 过 程 的 输入 信和 号 向 量 , M T) Thuo) Tiup) 可 分 别 视 为 该 系统 
或 过 程 的 输出 信号 向 基 。 判 断 一 个 系统 是 否 为 线性 系统 的 判 据 是 : 如 果 系 统 的 输入 为 线 
性 表达 式 y = cu + cuz 十 … 十 cpaup* 则 当 系 统 的 输出 也 满足 相同 的 线性 关系 T(y) = 
TÒC tay + cota + +--+ Opty) = T (ty) + caT (ug) 十 … 十 CpT(wp) 时 ， 该 系统 为 线性 系统 。 
否则 ,为 非 线性 系统 。 ` 
容易 看 出 , 例 1.2.1 的 变换 五 : Ro RP 不 满足 线性 关系 式 ， 故 不 是 线性 变换 :而 
变换 T: R? o R? 满足 线性 关系 式 , 为 线性 变换 。 
例 1.2.2 考 得 矩阵 变换 T(x) = Ar, 突 易 验证 


T(z +y) = A(s + y) = Ax + Ay = T(r) + TW) (1.2.30) 
T(cæ) = Alcr) = cAz = cT (£) (1.2.31) 


Rp, c 为 常数 。 因 此 ， 和 矩阵 变换 T(z) = 4z 是 向 量 z 的 线性 变换 。 
倒 1.2-3 ”线性 变换 T: R* 一 R” 可 以 用 线性 方程 


Wy = 4121 + azta 十 + ainin 
We = Gg, Ly 十 a223 十 十 GonTn 
Wm = Ayn 1 Ly F amata 十 … + Grmn Tn 
描述 ,或 使 用 矩阵 符号 表示 为 
Wy ol Q Qn | Fr 
w. a üg >o oa z, 
Ka e > | (1.2.32) 


Wm, Omi Am2 U Amn} len. 
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或 简 记 作 
w = T(x) = As (1.2.33) 
式 中 , 4 称 为 线性 变 搞 T 的 标准 矩阵 (standard matrix)。 线性 变换 T(x) = Ar KERE 
变换 。 
例 1.2.4 考虑 线性 算 子 工 ; RP o 开 ， 它 将 平面 上 的 向 量 e 映射 为 y 轴 上 的 正 交 
投影 w, 参见 图 12.1. 这 一 线性 算 子 称 为 正 交 投影 算 子 。 


图 1.2.1 开交 投影 


由 图 1.2.1， 可 以 写 出 与 w= T(z) 的 分 星相 关 的 方程 为 


w =0 = 0x + Oy 


wW =y = r+ ly 


EJ- 46 
由 于 是 线性 方程 , 所 以 正 交 投 影 算 子 T(w) 为 线性 变换 ,相应 的 标准 矩阵 为 


aby 


或 写成 矩阵 形式 


例 1.2.5 前 面 介 绍 过 的 向 量 内 积 也 是 一 种 线性 映射 。 以 复 内 积 空间 的 典范 内 积 


(æu) = So ny Ve,yev 
i=1 


为 例 ， 显 然 它 是 -一 种 将 笛 卡 儿 积 Vx V = {(@,y): ay © V} 变换 到 复 域 C 的 映射 
T:VxV=C, 即 
T:VxV =C” iy) 

根据 内 积 公理 易 知 , MA T: Vx Y 满足 线性 变换 的 两 个 条 件 ， 故 为 线性 映射 。 

线性 子 空间 和 线性 映射 都 与 向 量 空间 的 结构 有 关 , 不 难 想象 线性 子 空间 和 线性 映射 
之 间 一 定 存在 某 种 内 在 联系 。 这 种 关系 可 以 用 下 面 的 定理 描述 。 

定理 1.2.6 OV AW BATRA, T:V OW 为 一 线性 变换 。 

0) 车 M EV 的 线性 子 空间 , WTM) 是 W 的 线性 子 空间 ; 

(DEN ÆW 的 线性 子 宝 间 , 则 线性 反 变 换 TUN) 是 7 的 线性 子 空间 。 


26 第 1 章 和 矩阵 与 线性 方程 组 


证 明 参见 文献 [40, p.29]. 
线性 映射 具有 以 上 基本 性 质 : BTV Ww 是 一 线性 映射 ， 则 
T(0)=0 (1.2.34) 
T(-a) = -T (£) (1.2.38) 


证 明 由 于 了 是 线性 映射 , 故 了 (0) = T(0+0) =TO)+T(0). 由 此 得 T(0) =0. X 
KIA 0 = T(0) = T(z + (-x)) = T(x) +T(—-a), ZENS T(-a) = 一 T(z)。 a 

两 个 具有 相同 结构 的 向 量 空间 E 和 F 称 为 同 构 (isomorphic), 记 作 B&F. 两 个 实 
(RR) 内 积 空间 BAF 同 构 ,车 存在 一 个 一 对 一 线性 映射 了 : E o F 能 保持 向 量 的 内 
积 不 变 , 即 (Te, Ty) = (z, y) 对 所 有 向 量 oy © E 成 立 。 这 样 一 种 映射 T 称 为 向 量 空间 
的 同 构 映射 (isomorphism)。 ` 
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在 概率 论 中 , 常 称 w 为 基本 事件 ，4(e F) 为 事件 , 天 是 事件 的 全 体 , 而 P(A) 称 为 
事件 的 概率 。 

考虑 概率 空间 (2,F, P)。 用 Lp = Lp(O,F, P) 表示 随机 变量 上 = E(w) 的 空间 ， 
中 , BUEP} = Í, 上 Pdp < 00, 称 Lp(p > 1) 为 Banach 空间 。 在 Banach 空间 中 , 起 重要 
作用 的 是 空间 Za = Za, 大, 己 。 这 种 空间 就 是 具有 有 限 二 阶 矩 ELE?) < co 的 随机 变量 
的 Hilbert 空间 , 简称 为 Lo 空间 。 只 研究 向 量 空间 中 一 阶 和 二 阶 统计 性 质 的 理论 称 为 L? 
理论 。 

. 另 一 方面 , 在 信号 处 理 、 白 动 控 制 、 通信 、 电 子 芽 程 、 神经 网 络 等 应 用 中 ,观测 数据 
和 加 性 噪声 通常 取 随 机 变量 。 由 随机 变量 组 成 的 向 量 称 为 随机 向 量 。 本 节 介绍 随机 向 量 
的 1? 理论 , 先 讨论 实 随 机 向 量 , 然后 再 推广 到 复 随 机 向 量 。 


1.3.1 ” 概 罕 密度 函数 


找 述 随机 向 量 的 统计 钞 数 有 累积 分 布 函 数 、 概 率 密度 函数 、 均值 疯 数 和 协 方差 函数 
等 。 先 讨论 随机 向 量 的 累积 分 布 函数 和 概率 密度 函数 。 


L 实 随机 人 向量 的 概率 密度 函数 
一 个 含有 m 个 随机 变量 的 实 值 向 量 
2(€) = [r1 (E), 22E) s Em ENT (1.3.0) 


称 为 mx 1 实 随机 向 量 , 或 简称 随机 向 量 ( 当 维 数 无 关 紧要 时 )。 其 中 , i 表示 样本 点 , 例 
如 它 可 以 是 时 间 t, 圆 频率 f, ARK w 或 位 置 s 等 。 
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一 个 随机 向 量 所 有 元 素 的 联合 累积 分 布 沼 数 常用 符号 Fe(zi zz，… ,zm) 表示 ,联合 
概率 密度 函数 常用 faln Tn Em) 作 符号 。 为 了 简化 , Q Fla) = Follin 12m) 
Al f(a) = falti a ,Tm)。 一 个 随机 向 苹 由 它 的 联合 黑 积分 布 函 数 或 联合 概率 密度 汤 
数 完全 描述 。 一 组 概率 的 集合 六 数 


F(a) E P(E: (€) < 21, (E) < 2a sEm (E) < Bint (1.3.2) 


定义 为 向 基 x(&) 的 联合 累积 分 布 函数 ， 简 称 分 布 函数 。 式 中 ，z; 为 实数 。 
随机 向 量 oE) 的 (联合 ) 概率 密度 销 数 定义 为 


F(z) 
dtm PE SnE Sy Hay Tm < Enl) S tin t Atn) 

Az, S0; AT m0 Azl Az, 

om 

= pial tn) (1.33) 
联合 概率 密度 函数 的 m -1 重 积分 函数 

fa) E E . f (ee ad «= ery 4d; 44 dns (1.3.4) 

称 为 随机 变 基 2, 的 边缘 概率 密度 函数 。 
由 式 (1.3.4) 和 式 (1.3.2) 易 知 
Fea) = fo FP Solo umdi = -dom (1.3.5) 


就 是 说 , 随机 向 量 =(6) MKS RRS TREE BRAD 
定义 1.3.1 853| 随机 变量 x, (€), x2(8),… ,zm(6) 称 为 (联合 ) 独立 , 若 对 于 m 个 事 
件 {ae (€) < 21}, (226) < zj ，{zm(6) < Emp 有 概率 关系 


PAL (E) < Er om (E) $ Tm} = Pla) <i} ++ Plem(E) S ta} (1.3.6) 
成 立 。 这 意味 着 
F(a) = 本 (zlzazm) = Fe, (TPs, (£2) -+- Fe, (Em) (1.3.7) 
或 
F(E) = 所 (zza Em) = fo, (m1)fo, (2) fa, (Lm) (1.3.8) 


用 文字 表述 以 上 定义 , 即 有 : Hom 个 随机 变量 的 联合 分 布 状 数 { 或 联合 概率 密度 函 
数 ) 等 于 各 个 随机 变量 的 边缘 分 布 函数 (或 边缘 概率 密度 函数 ) 之 积 , 则 这 m 个 随机 变量 
是 联合 独立 的 。 为 了 与 线性 独立 ( 即 线性 无 关 ) 相 区 划 ， 随机 变量 之 间 的 独立 被 称 为 统计 
独立 。 
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2， 复 随机 向 量 的 概率 密度 函数 
一 个 复 随机 变量 定义 为 z(€) = za《&) +j zh) 其中, ty (6) 和 aE) 分 别 为 实 值 随机 


变量 。 
复 随机 向 量 可 以 表示 成 
ME 
2 =e tin@=] ESE (1.3.9) 
O [mn 人 
复 随机 向 量 的 累积 分 布 函数 定义 为 
Fe) © P{2(£) < a} & Plag(©) < ep, wilé) < wa} (1.8.10) 
REM RWE LN aa 
fa) = oF (@) (1.3.11) 


Lp Ty +++ Opp, IL) 
由 式 (1.3.10) 和 式 (1.3.11) BU, RRD RE BE ORT TA SABA AE ABA 2m 
重 积分 , 即 


F(a) = RD2a Em 
TRI Tl m) 
= e SE SE SE Horo dom do + dope 
=f flvdv (1.3.12) 
-o 


特别 地 
Í fedaz=1 (1.3.13) 


1.3.2 ”随机 向 量 的 统计 描述 


分 布 萝 数 和 概率 密度 函数 常常 是 未 知 的 ， 因 此 它们 企 很 多 实际 问题 中 的 应 用 并 不 方 
便 。 与 之 不 同 , 随机 向 量 的 一 阶 和 . 阶 统计 量 却 使 用 方便 。 
1， 均值 向 量 
随机 向 量 的 最 重要 统计 运算 为 数学 期 望 。 考查 mx1 随机 向 量 2(&) = [z1(8), eE) 
anO. 令 随机 变量 =. 人) 的 均值 E(x,(6)} 一 ng 则 随机 向 量 的 数学 期 刻 称 为 均值 向 量 ， 
记 作 pp 定义 为 
BeO fa 
m ra= E] | (1.3.14) 
Eon(ON Lon 
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式 中 , 数学 期 望 定义 为 
Bire) f” aflojar (1.3.15) 
Elele} 坚 三 wf {pdr (1.3.16) 
R (1.3.14) 表明 , 均值 向 量 的 元 素 丰 随机 向 量 各 个 元 素 的 均值 。 
2， 相关 矮 阵 与 协 方差 短 阵 
HEMEL MLR OE, 它 描 述 随机 向 量 的 元 素 围绕 其 均值 的 散布 情况 。 与 


均值 向 量 不 同 ,随机 向 其 的 二 阶 窍 为 矩阵 , 它 描 述 随 机 向 量 分 布 的 散布 情况 。 
随机 向 量 的 白 相 关 和 矩阵 定义 为 


Tui Ti mm 
R, BHH =| T U (1.3.17) 
Ta Taa oe Pam, 
RP, ri = 1,2,… ,mm 表示 随机 变量 2,9) 的 自 相关 函数 , 定义 为 
ra BE{E Ph 4 1,2,--- 5m (1.3.18) 
而 ry 表示 随机 变量 2,2) 和 zi(6) ZANT, 定义 为 
ry SEC(OGO} j= sm 了 (1.3.19) 
AR, SAIS REMERON, 即 为 Hermitian 矩阵 。 
随机 向 量 x(é) 的 自 协 方差 矩阵 定义 为 
cl C2 U Cim 
6, EEEO- uee p= | F (2.3.20) 
Emi Cm2 a Cmm, 
ath, 主 对 角 线 的 元 素 
ca Ele) -uh $= bm (1.3.21) 
表示 随机 变量 z;(é) 的 方差 o2, 即 cy = 02, HAE ARES 
cy E Ef fs(€) ~ pl ley) — p31} = EAEE} oath = oh (1.3.22) 


表示 随机 变量 mi(E) Hoe) DDA. HDA RENE Hermitian HEM. 
自 相 关 和 矩阵 和 白 协 方差 矩阵 之 间 存 在 下 列 关 系 : 


C, = Rs ~ hotta (1.3.23) 
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推广 自 相 关 和 矩阵 和 自 协 方差 矩阵 的 概念 , 则 有 随机 向 量 eE) 和 ye) HEARE 


Ta 
def Trou, Tega D Tr 
Ry = Fey (= . : (1.3.24) 
7 ae 
利 互 协 方差 矩阵 
Cay Bf la(€) ~ tally (6) ~ Hy) (1.3.25) 
= Rey Pehy (1.3.26) 
Cr Cr te 
Cay uy Cay DU Cr a 3 27) 
Cr By Cay Me a Fr Vans 


RP rey, © B{zi(6)y} O) 是 随机 变量 zx,(6) M yle) 之 问 的 互相 关 , co w E Elle (O- 
Ho JU; (E) 一 py,1"} 是 随机 变量 wz(6) 和 y (E) 之 问 的 与 协 方差 。 

一 个 随机 向 基 的 白 相 关 插 阵 和 上 白 协 方差 矩阵 均 为 正方 的 共 斩 对 称 和 矩阵 ， 而 两 个 维 数 
不 同 的 随机 向 其 的 互相 关 矩 阵 和 扎 协 方 养 矩 阵 是 非 正方 的 矩阵 。 即 使 随机 向 量 (E) 和 
vO 维 数 相同 ,互相 关 矩 阵 和 互 协 方差 矩阵 为 正方 矩阵 , 但 它们 也 不 是 共 鼎 对 称 的 。 

3， 两 个 随机 向 量 的 统计 不 相关 与 正 交 

当 采 样 点 & 取 一 系列 值 时 ， 随 机 变量 序列 fi(6)} 构成 一 随机 过 程 或 信号 。 由 于 随 
机 信号 减 去 自己 的 均值 后 ， 只 剩 下 随机 变化 部 分 ， 所 以 协 方差 函数 给 出 的 是 两 个 随机 信 
号 2,6) All 2,(€) 之 问 随机 变化 部 分 的 相 乘 。 一 般 说 来 ,两 个 随机 信号 的 随机 变化 部 分 中 
的 共性 部 分 的 相 乘 总 是 取 相同 的 符号 ， 使 得 共 性 部 分 得 到 加 强 ， 而 保留 下 米 。 与 之 不 同 ， 
两 个 信号 的 非 共性 部 分 划 是 随机 的 ， 它 们 的 乘积 有 时 取 正 ， 有 时 取 负 ， 通 过 数学 期 望 的 
平均 运算 后 , 趋 于 相互 抵消 。 这 意味 着 , 互 协 方差 函数 能 够 把 两 个 信号 之 间 随 机 变化 的 
共性 部 分 提取 出 来 , 并 抑制 掉 非 共性 部 分 。 因 此 ， 互 协 方差 函数 描述 了 两 个 信号 s (€) 和 
a, (E) 之 间 的 相关 ( 联 ) 程度 。 即 古 说 , 互 协 方差 函数 越 人 , 则 这 两 个 随机 信号 的 相关 程度 
越 强 ; 反之 ,相关 程度 越 弱 。 (AL, 这 种 使 用 互 协 方差 的 绝对 大 小 度量 两 个 随机 向 量 的 相 
关 程度 并 不 方便 。 
两 个 随机 变 其 z(€) 和 y(é) 之 间 的 相关 系数 定义 为 


dy ey 1.3.28 

pou FEO) zoy 08.28) 

式 中 ， Cay 是 随机 变量 x(6) 和 yO) 之 加 的 号 协 方差 , 而 oz 和 o? 分 别 是 z(€) 和 yE 的 
方差 。 对 相关 系数 的 定义 公式 使 用 Cauchy-Schwartz FSR, HH 


0<Ipeyl <1 (1.3.29) 
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相关 系数 pe 给 出 了 两 个 随机 变量 z(€) 和 ye) 之 间 的 相似 程度 的 度 关 : p。, 越 接近 
TE, 随机 变量 o(6) 和 y(€) 的 相似 度 越 弱 ; 反之 , 若 pey 越 接近 于 1, 则 z(&) Al ye) 的 
相似 度 越 大 。 特别 地 ， 相 关系 数 的 两 个 极端 值 0 和 1 ARR. 

由 于 Pay = 0 意味 着 互 协 方差 coy = 0, 这 表明 随机 变量 z(6) 和 y(€) 之 间 不 存在 任 
何 相关 部 分 。 因 此 , AF poy = 0， 则 称 随 机 变量 2(€) 和 ye 不 相关 。 鉴 于 这 种 不 相关 古 
在 统计 意义 下 定义 的 , 所 以 常 称 之 为 统计 不 相关 , 以 区 别 其 他 形式 的 不 相关 (如 线性 无 关 
等 )。 

RARE € r€) = cyl). EF, c 为 一 复 常数 ， 则 |psy| = 1。 满足 条 件 z€) = 
cy() = leleiye) 的 随机 变量 2(€) 和 WE) 只 是 相差 一 个 固定 的 幅 值 比例 因子 和 一 个 岗 定 
的 相位 $(e)。 这 样 的 两 个 随机 变量 称 为 完全 相关 (或 相干 )。 

将 两 个 随机 变量 之 间 的 不 相关 条 什 ce = 0, 天 了 推广 到 随机 向 量 elé) 和 yE) 的 任 
意 两 个 元 素 之 间 , 则 知 当 cru, = 0 对 所 有 ij 恒 成 立时 ， 随 机 向 基 z(6) 的 任何 元 素 都 
与 随机 向 量 yE) 的 任何 元 素 不 相关 。 此 时 ， 称 随机 变量 r6) 与 yE) 不 相关 。 于 是 , 随 
机 向 量 的 统计 不 相关 定义 如 下 。 

定义 1.3.2 ”两 个 随机 向 量 x(&) 与 y(é) 统计 不 相关 , 若 它们 的 互 协 方差 矩阵 等 于 零 
矩阵, BNC, =O. 

两 个 随机 变 其 z(€) 和 yE) KAER, 若 它们 的 互相 关 等 于 零 ， 即 


Tay = E{z(Ey*(€)} = 0 (1.3.30) 


类 似 地 , 两 个 随机 向 量 z(&) = [x1 (E), za 人 ,zn(6 AAE) = CE) Yale), a VlT 
称 为 正 交 , E (6) 的 任 一 元 于 r (6) 与 随机 向 量 yE) 的 任意 元 素 y (© EX, B ray, = 
{zi(é)yj(6)} = 0,Y i, jo 显然 , RCO ATP MORO BRE EA RE, 
有 Ray =O. ; 

定义 1.3.3 称 两 个 随机 向 量 ol) 与 ye) ER. HENHDARERS TEER, 
即 Rey =O. 

ERE hE EE, 若 随机 向 基 e6) 和 yO 均 具 有 零 均值 
向 量 , 则 Cay = Rayo 因此 , 对 于 分 别 只 有 零 均 信 向 基 的 两 个 随机 向 曹 而 襄 , 它们 之 间 的 
统计 不 相关 与 正 交 是 等 价 的 。 

4 Rey He Beit AR 

令 AK SER, 则 


yl€) = Axl) (1.3.31) 


是 复 正太 随机 向 量 z(6) ~ CN (yg, Ta) 的 线性 变换 。 线 性 变换 y(E) = 4z(6) 仍然 为 正太 
随机 向 量 , 记 作 gy(e) ~ CNG, T )。 容易 验证 , 其 均值 向 量 


by = E{y()} = E{Ax(£)} = AR{@(@)} = An, (1.3.32) 
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自 相 关 和 矩阵 为 
Ry = E{yOu"(©)} = E{Az(E)z™(€) AT} 
= AE{a(é)2"(€)}.A" = AR, A™ (1.3.33) 
Bb ME 
C,=AC,A" (1.3.34) 


随机 向 址 (£) 与 线性 变换 y(E) = Az(&) 的 互相 关 和 矩阵 为 
Roy = E{x(6)y"()} = Efex)" QA} 
= E{a(éje"(6)) A" = RA" (1.3.38) 
于 是 
R,, = RE, = (了 ARE = AR, (1.3.36) 


式 中 , AAT AEE RE = R,。 
类 似 地 , 随机 向 基 =(E) 与 其 线性 变换 y(€) = Aw(é) ZINE AE 


C,,=C,A", Cy, =AC, (1.3.37) 


1.3.3 ” 正 态 随机 向 量 
若 随机 向 量 z(6) = [ea(6),zz(6)，… Em OT 的 各 分 量 为 联合 正 态 分 布 的 随机 变量 ， 
则 称 z(é) 为 正太 随机 向 量 。 实 随机 向 量 利 复 随机 向 基 的 概率 密度 函数 表示 稍 有 不 同 。 
一 个 均值 向 量 为 jw。 和 协 方差 矩阵 为 T, 的 实 正 态 随机 向 量 记 作 zx ~ Nla Ta) 其 
概率 密度 函数 为 853],a6g,p.35- 人 


1a) = games ete) re | (1.3.38) 


式 中 , [P| ARER T, 的 行列 式 , 指数 项 (2-a) TI (E-ha) Bo, 的 正定 二 次 型 函 
数 ， 也 可 以 写作 


(@— pa)" PZ (E — ae) = $O YO T3 ee — oa) (E; — 49) (1.3.39) 


i=l j=1 


Sh, riia) RREME Tz! 6,7) TE p = BP{zi} 是 随机 变 基 zi 的 均值 。 
实 正 态 随机 向 量 的 特征 函数 为 


5,,(w) = exp (i wp, 一 err) (1.3.40) 


RP, w= ww sn] 
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4 w= [etg Em] 其 每 个 元 素 服从 复 止 态 分 布 , 即 z, ~ CN(u,,02), W = B 
为 复 正 态 随机 向 是 , 记 作 æ ~ CN (un Toh 其 中 ao = [pa im H a; = tjv 
FEA SEL RE juz, Oy], [ug vaT, ++ 5 im Um] 统计 独立 , WRAL ESAE = 的 概率 
密度 函数 为 [369, p.35—5) 


f(@)= II fea = (eia) exp -È Jle; -oj (1.3.41) 


= =F] exp [—(@ — pao)" TZ (Œ — 4,)] (1.3.42) 


Ath, T, = diag(o7,o3,--- ,0%)。 复 正 态 随 机 向 由 的 特征 函数 由 下 式 给 出 : 
$e(w) = exp 6 Re(w ps.) 一 jor] (1.3.43) 


正 态 随 机 向 量具 厅 以 上 重要 性 质 。 

(1) 概率 密度 函数 由 均值 向 量 和 协 方差 矩阵 完全 描述 。 

{2) 若 正 态 随 机 向 甘 的 各 个 分 景 相 豆 统 计 不 相关 ， 则 它们 也 是 统计 独立 的 。 

(3) 均值 向 量 jo APT AEE P, 的 正 态 随机 向 量 o 的 线性 变换 yE) = Ar) 仍 
然 为 正 态 随机 向 量 , 其 概率 密度 区 数 为 


IO = gyarr hU- T u- Esna 
; 
(1.3.44) 


fy)= EA exp [-(y— HT (yg 一 py)] ( 复 正 态 随机 向 量 ) (1.3.45) 
v 


FENES AEE PAER AT, URE SE ASL TA 4 RESEAL 
量 的 统计 表示 的 不 同 。 在 阵列 处 理 、 无 线 通信 和 多 信道 信号 处 理 中 ， 常常 使 用 多 个 传 感 
器 或 者 阵 元 接收 多 路 信号 。 在 大 多 数 情况 下 ,可 以 假定 每 个 传感器 上 的 加 性 喉 声 都 是 高 
斯 白 噪 店 ,并 且 这 些 传感器 上 的 加 性 高 斯 白 噪声 是 彼此 统计 不 相关 的 。 

例 1.3.1 4 s(t) = e(t) Tat) ,zm(ltj” 为 一 实 值 正 态 随 机 向 量 ， HH, s(t), 
zz 的 ;azm 人 6) 表示 m 个 传感器 上 的 加 性 高 斯 白 噪声 , 变量 + 代表 时 间 。 蔡 这 些 加 性 高 
斯 所 噪声 彼此 不 相关 ， 并且 均 具 有 零 均 值 向 量 和 相同 的 方差 o, 则 任何 两 个 加 性 高 斯 白 
Bs EDEN EM AHA, BAL PRA: 

Cae, = Tap, = 位 i (1.3.46) 
这 表明 ， 具有 和 零 均值 向 量 的 实 高 斯 白 噪声 向 量 z(t) 的 自 协 方差 矩阵 和 白 相 关 和 矩阵 相等 ， 
并 且 


了 


Pax, Frita ue EZEAN 
T, Togt Traag ` Eam 
C, = R, = Eade p= | . ` : (1.3.47) 


Te Tema U Tamim 
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将 式 (1.3.46) 代入 上 式 , 并 即 得 到 实 高 斯 白 噪声 向 量 的 统计 表示 为 
E{a(t)} =0 (1.3.48) 
E{a(t)eT()} = o? (1.3.49) 


例 1.3.2 4 a(t) = [2,(),2,(t),-.c,())" 表示 复 正 态 随机 向 量 ， 其 中 ，zi 的 ， 
Ealt) Enlt) 表示 m 个 传感器 上 的 加 性 复 高 斯 白 噪声 , 它们 彼此 不 相关 , 并且 都 具有 
零 均 值 向 量 和 相同 的 方差 o. + r,t) = trt) titr) HP, rlt) 和 zx 人 是 两 个 
实 随机 过 程 。 注意, 一 个 复 高 斯 白 噪声 过 程 意味 着 其 实 部 ak 人 和 虚 部 op (t) 是 两 个 相 
互 独 立 的 高 斯 白 噪 声 过 程 ， 它 们 共有 相同 的 方差。 因此，zi(t) 为 零 均值 和 方差 o? 的 高 
斯 白 噪 声 过 程 意 味 着 


BEfznk(b =0 
E{zm(t)} =0 
Efka} = Eleh) = 50? 
E{zps, a ()} =0 
E(w, (é)ah(@)} = Efe Re(6)} + Ef aie} = 07 
由 上 述 条 件 知 
了 Hz 的 } = Eflee() + ity (6)?} 
= Re -Efri (t)} +j Efer (en (OF 
= fo? — bo? 10=0 
由 于 eth ,zm 也 是 m 个 彼此 不 相关 的 高 斯 握 噪 卢 过 程 , 故 
E{a,(t)ej(Q}=0, Bial iÉ 
综合 以 上 条 件 ， 即 可 得 到 复 高 斯 白 噪 声 向 量 w(t) 的 统计 表示 为 


E{z(¢)} =0 (1.3.50) 
Efe" e)} = oI (1.3.51) 
E{x(¢)x7()} =O (1.3.52) 
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虽然 1.2 节 讨论 内 积 空间 时 ， 曾 经 介绍 过 向 量 的 内 积 与 范 数 ,但 只 大 从 引出 内 积 空 
间 的 定义 这 一 立场 出 发 , 对 向 量 的 内 积 与 范 数 作 了 比较 简单 的 介绍 。 特别 地 , BER 
定义 有 多 种 ,1.2 节 只 是 简单 地 提 及 了 典范 内 积 一 种 , 而 且 对 它 未 作 深入 讨论 。 本 节 将 对 
向 量 的 内 积 与 范 数 展开 比较 全 面 与 深入 的 讨论 ,然后 推广 到 矩阵 的 内 积 与 范 数 。 
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141 向 量 的 内 积 与 范 数 


根据 元 素 取 值 方式 的 不 同 , 向量 分 为 常数 向 量 、 函 数 向 量 和 随机 向 量 。 如 前 所 述 , 常 
数 向 量 是 元 素 为 常数 的 向 量 ， 函数 向 基 古 元 素 取 某 个 变量 的 函数 值 的 向 量 ; 而 随机 向 量 
则 是 元 素 为 随机 变量 的 向 量 。 虽然 常数 向 量 、 函 数 向 量 和 随机 向 量 的 内 积 定义 公式 有 所 
不 同 , 但 是 无 论 向 量 取 何 种 形式 , 向量 的 内 积 和 范 数 都 必须 服从 一 定 的 公理 。 由 于 实 向 量 
是 复 向 量 的 特例 , 下 面 以 复 向 量 作 为 讨论 对 象 , 并 用 RA C 分 别 代表 实数 域 和 复数 域 。 

定义 1.4.1 OV 是 复 向 量 空间 。 函数 (zy): VxVOC 称 为 向 量 « Fy 的 内 
积 , BUPA zyz eV， 以 下 内 积 公理 满足 : 


(1) (@, 2) 20 ( 非 负 性 ) 
(la) (z,z) = 0,， 当 日 仅 当 z =0 ( 正 性 ) 
(2) (Œ +y,z) = (wz) + (y, z) (可 加 性 ) 


(3) (ca, y) = (m,y) 对 所 有 复 常数 c 成 立 ( 齐 次 性 ) 
(4) (æ, y) = we)” (Hermitian 性 ) 
AH, * 表示 复数 共生。 
EX 1.4.2 SV BAAR. OR lol: Y 一 RAE = 的 范 数 ， 若 对 所 有 
2,Yy EV， 下 面 的 范 数 公理 成 立 : 
(1) ali > 0 ( 非 负 性 ) 
(Ja) læ] = 0, 当 且 仅 当 z=0 { 正 性 ) 
(2) liezl| = fel æl 对 所 有 复 常 数 c 成 立 ( 齐 次 性 ) 
(3) lle + yll < læt + ixl CATHER) 
上 述 公理 是 平面 上 的 Euclidean 长 度 的 熟知 性 质 。 满足 公理 (1), (2) (3) 但 不 一 定 
满足 公理 (1a) 的 函数 称 为 向 量 的 半 范 数 。 
下 面 分 别 介绍 常数 向 量 、 函 数 向 量 和 随机 向 量 的 内 积 与 范 数 。 
1， 常数 向 量 的 内 积 与 范 数 
根据 定义 1.4.1, 两 个 m x1 维 常数 向 量 = = [rtp Em] A y = [Bhs Yas Yml 
的 内 积 (或 叫 点 积 ) 定义 为 


m 
(m,y) = ey =) riy (1.4.1) 
i=l 


FEM 1.4.3 an 


ae (1.4.2) 


cos = rea Ea 
显然 , # ey = 0, 则 6 = r/2。 此 时 ， 称 常数 向 量 = 和 y EX. 因此， 两 个 常数 向 


量 正 交 的 数学 定义 如 下 。 
定义 144 ”两 个 常数 向 量 称 为 正 交 ， 若 它们 的 内 积 等 于 零 ， 即 oly = 0， 并 记 作 


TL oo 
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根据 定义 知 ， 零 向 其 0 与 同一 空间 的 任何 向 基 都 正 交 。 
例 1.4.1 序列 {fexp(j2rfra)} 起 一 个 以 单位 时 间 间 也 被 采样 的 闫 率 为 7 的 正弦 波 。 
LRA HM e,,(f) 定义 为 (m+1) x 1 向量 , 即 


am 


3, of 2m T 
en(f) = [es,... :ein 


这 样 一 来 ，N 个 数据 样本 z(n),n = 0,1,… ,N -1 的 离散 Fourier 变换 (DET) 就 可 以 用 
向 量 的 内 积 表示 为 E 


XH) = Dz(n)e WH = ehg 


n=O 
KA, x= [r(0), 2(1),--- (N -DrF 常 称 为 数据 向 量 。 
直面 切 几 种 常用 的 向 其 范 数 。 
(G) 4, 范 数 
Hella ED e] = lead + lool + + bl (1.4.3) 
上 述 范 数 有 时 也 叫 和 范 数 或 1 范 数 。 
(2) ly 范 数 
Wella = (Leal? + bal? +++ + es) 0.44) 


这 一 范 数 常 称 Euclidean 范 数 ,有 时 也 称 Frobenius 范 数 。 


(3) boo 范 数 
Il = max l, leah se) (146) 
也 称 无 穷 范 数 或 极 大 范 数 。 
(4) 1, 范 数 
m yp 
zh = (È mr) ， pal (1.4.6) 
i=l 


1, 范 数 也 咱 Holder 范 数 270, 
当 p= 2 时, Ip 范 数 与 Euclidean 范 数 完全 等 价 。 另 外 , 无 穷 范 数 是 5 范 数 的 极限 形 
式 , 即 有 
m 1/p 
zl = Jim, (= lst) (14.7) 
i=1 
WM lel 称 为 西 不 变 的 , 车 IUzll = lel 对 所 有 向 量 > e Cw 和 所 有 本 矩阵 UE 
Orm 恒 成 立 。 
命题 1.4.1 224) Euclidean 范 数 | - lp RADE. 
假定 向 基 z 和 gy 有 共同 的 起 点 ( 即 原点 O) 它们 的 端点 分 别 为 > 和 2 则 he- yle 
景 两 个 向 量 s, y 两 端点 x y 之 间 的 标准 Euclidean HE. 特别 地 , ERRIRE (x, 2)? 
称 为 向 量 = 的 Euclidean 长 度 。 Euclidean 长 度 为 1 的 向 马 叫 做 委 一 化 (或 标准 化 ) 向 量 。 
对 于 任何 不 为 零 的 向 量 2 es Cm， 向 量 w/e, e)l 都 是 归 一 化 的 , AES x 同方 向 。 
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Euclidean 范 数 是 应 用 最 为 广泛 的 向 基 范 数 定 义 。 在 本 书后 面 的 讨论 中 , 如 无 特别 声 
明 , 向 量 范 数 均 指 Euclidean 范 数 。 
常数 向 量 w 和 v 的 外 积 CTU MAR) 记 作 wot, 定义 为 


wul wog o wuh 
H Wv Wuj + weve, 
wots | < . f (1.4.8) 
mn 


2. 函数 向 量 的 内 积 与 范 数 
E a(t) 和 y(t) 分 别 是 变革 的 函数 向 量 , 则 它们 的 内 积 定义 为 
CoP do (1.49) 


其 中 , Wait tA [a,b] RE, 且 a < b。 变量 上 WAAAY AIR RR a aE E. 
PAT EB BSR BE 


pet key) f a" (t)ylë)dt 
Oo Seales OO 
RP, eH ERRAR a(t) 的 范 数 ， 定 义 为 


(1.4.10) 


1/2 


leol 2 (f ez(db) (1.4.11) 
显然 ， 苦 两 个 函数 向 最 的 内 积 等 于 零 , 即 
三 a (t)y(t)dt = 0 


FILE w(t) 上 y(t). 


WW @ = 0/2. HEAT, 称 两 个 函数 向 量 正 交 
3， 随 机 向 量 的 内 积 与 范 数 . 

E w(€) 和 gy() 分 别 是 样本 变量 5 的 随机 向 量 , 则 它们 的 内 积 定义 为 
(Hl), uO) E EEEO (1.4.12) 


+ 中 ,样本 变量 上 可 以 超时 间 t WARE f、 角 频率 w 和 空间 变量 s 等 。 
随机 向 量 z(€) 的 范 数 定义 为 


lz © Eleele) (1.4.13) 


‘at 


与 常数 向 量 和 函数 向 量 的 情况 不 同 , m x 1 随机 向 其 z(€) 和 nx1 随机 向 量 ye) 称 
为 正 交 , 车 elt) 的 任意 元 素 与 yE) 的 任意 元 素 正 交 。 这 意味 着 , APS HIRERE 
AFERE Omya E 


BE[z(6)3ya(6)} = Omxn (1.4.14) 
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并 记 作 w(E) L gy(&)。 
下 面 的 命题 表明 , 任意 两 个 正 交 向 基 之 和 的 范 数 平方 等 于 各 个 向 量 范 数 平方 之 和 。 
合 题 1.4.2 aly, Wl fle + yl? = lel? + lel? 
证 明 由 范 数 公理 知 
le +y = (@+y," +y) = (wx) + (x,y) + (yx) + (yy) (1.4.15) 


由 于 zw 和 gy IESE, 所 以 (x,y) = E{zTy} = 0。 义 由 内 积 公理 知 (y, x) = (x,y) = 0。 将 这 
一 结果 代入 式 (1.4.15) 立即 得 
le + al]? = (2,2) + (yy) = lel? + Iyl? (1.4.16) 
本 命题 得 证 。 
这 一 命题 也 称 Pythagorean 定理 。 
命题 1.4.3 z, y) < lellyb FIRLAR æ = 和 My 或 z=0 或 y=0。 
证 阴 由 内 积 的 非 负 性 知 {z 一 Xy,z 一 XAy) > 0, 其 中 , 入 天 0 为 一 标量 。 注意 到 
(z — dy,@ — dy) = (x, 2) — My, a) — Mw, y) + 7,9) 
选择 和 = 名 a ， 则 上 式 变 为 
(a — Ay, @ — Ay) = (w, a) — (a, 2)? /yl = (x, £) — æy)? uu) > 0 
由 此 得 æy < lellu BA, 5 r= y R e= Ryo, 不 等 式 取 等 号 。 OF 
不 等 式 (s, v)| < lz 有 ll 称 为 Cauchy-Schwartz 不 等 式 。 
FRA ERA PTA. 
RH 1.4.4 |i + yl? + le — yl? = 2a? + 2y. 
证 明 具体 计算 范 数 , 得 
lz + yll? = (x +e +y) = (x, 2) + 2(æ, y) + (v, 9) 
le- yl? = (x -y£ +y) = (2,2) — 2(a,y) + (ys v) 


两 式 相 加 ， 即 有 
lz + yl? + e- yl? = 22,2) + 2(y,9) = 2((Heell? + yl’) 

这 即 是 希望 证 明 的 结果 。 a 

定义 1.4.5 #n—00 时 , A le,- el +0, WH zx KAA 2。 

下 面 的 命题 表明 , 范 数 具有 连续 性 。 

命题 1.4.5 若 za 一 全 和 1 y M En yn) > (eyo 

证 明 Ëa, eÑ yn, >u Wa, My, 必然 是 有 界 的 向 量 , 即 a, |) <m, 和 
hual] < mes R len- zl] > 0, lyn ~ yll > 0 当 n 一 oo。 考查 

(a, y) = (8 -En En Y — Yn + Yn) 
= {E -Em Y Yn) + ÈE- En Yn? + (En Y- Yn) + (En Yn) a) 
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然而 ， 由 命题 1.4.3 及 题 意 逢 ， 上 式 右边 前 二 项 分 别 为 
KE- Ea Y- Yn)? < læ = ænlllly -ynl m0 n> o 
{£ -Eas Yn) < valle — tall < malle ~ zl > 0, 2 > oo 
(Ea Y = Yn) <[ealllly — yall < mly ~ gall +0, n = 00 
将 以 上 公式 代入 式 (1) 即 知 ， 当 n> co 时 ,， (En Yn) 一 (ery) > E 
下 面 从 数学 定义 、 几 何 解 释 和 物理 意义 二 个 方面 对 常数 向 量 、 汤 数 向 量 和 随机 向 
量 的 正 交 作 一 归纳 与 总 结 : 
0) 数学 定义 : 两 个 向 量 = 和 y 正 交 ， 苦 它们 的 内 积 等 于 零 , 即 (wy) = 0 (对 常 
数 向 量 和 琢 数 向 量 )， 或 者 它们 的 外 积 的 数学 期 望 等 于 零 和 矩阵 ， 即 E{ey™} = O 
(对 随机 向 量 )。 
(2) 几何 解释 , 营 两 个 向 量 正 交 ， 则 这 两 个 向 量 之 间 的 夹 角 为 90%, 并 划一 个 向 量 到 
另 一 个 向 量 的 投影 等 于 零 。 
{3) 物理 意义 : 当 两 个 向 量 正 交 时 , 一 个 向 量 中 将 不 含 另 一 个 向 量 的 任何 成 分 , 即 这 
两 个 向 量 之 间 不 存在 任何 相互 作用 或 于 扰 。 
记 住 这 些 要 点 , 将 有 助 于 在 实际 中 灵活 使 用 向 其 的 正 交 。 


1.4.2 ”向 量 的 相似 度 


考虑 M 个 类 型 的 模式 , 它们 分 别 记 作 wi,wo,… ,ww， 编 号 随意 。 假定 通 过 已 知 类 
型 属性 的 观测 样本 ,业已 抽取 出 M 个 样本 模式 向 量 a1,82,… , 8m。 给 定 一 任意 的 上 知 
模式 向 量 o, 希望 判断 它 归属 于 哪 一 类 模式 。 这 个 问题 称 为 模式 分 类 , 它 古 模式 识别 的 基 
本 问题 之 一 。 模 式 分 类 揭 基 本 思想 是 将 未 知 模式 向 量 z 同 M 个 样本 模式 向 量 进行 比 对 ， 
看 z 与 哪 一 个 样本 模式 向 量 最 相似 , 并 据 此 作出 模式 分 类 的 判断 。 

假定 (w, 8,), (a, 92),… , (z,8m) 分 别 作 为 未 知 模式 向 量 2 和 已 知 样本 模式 向 量 sl， 
fo, ,8M 之 间 的 相似 关系 的 符号 。 以 2 与 81, 82 的 相似 关系 为 例 , 车 

(@, 81) < (S, 82) (1.4.17) 
则 称 未 知 模式 向 量 x 与 样本 模式 向 量 s1 更 相似 。 为 了 建立 式 (1.4.17) 的 相似 关系 , 需要 
定义 相似 度 (similarity) 或 相 异 度 (dissimilarity). 

最 简单 和 最 直观 的 相似 度 是 两 个 向 量 之 间 的 Euclidean 距离 。 未 知 模式 向 量 zw 与 第 
i 个 原 象 模式 向 量 s; 之 间 的 Euclidean 距离 记 作 D(s,,2), 定义 为 

D(8,,2) = lw - sill = y (æ — 8) @ - 91) (1.4.18) 
BE s; € {81, 52,… , By} 大 到 的 近邻 ( 即 最 近 的 邻居 )， 苦 
Dlsi 2) = min D(sp, 3) k=l2.,M (1.4.19) 

作为 一 种 广泛 使 用 的 分 类 法 ， 近 和 邻 分 类 (nearest neighbor classification) 法 将 林 知 类 

型 的 模式 向 量 > 归 为 它 的 近邻 所 属 的 模式 类 型 。 
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除了 Enclidean 距离 外 ,另外 一 个 有 用 的 距离 函数 是 Mahalanobis 距离 。 令 


1 N 
m= woe (1.4.20) 


代表 个 样本 模式 向 量 的 均值 向 量 , 并 使 用 


N 
c= x ds —m)(s;—m)™ (1.4.21) 


表示 N 个 样本 模式 向 量 的 协 方差 矩阵 。 
从 未 知 模式 向 其 = 到 均值 向 量 m 之 间 的 Mahalanobis 距离 定义 为 


D(m, x) = (zm) Cs — m) (1.4.22) 
类 似 地 ， 从 第 i 个 样本 模式 向 量 si 到 均值 向 量 m 的 Mahalanobis FER 
D(m, sai] = (8; — m)™C(s, — m) (1.4.23) 


根据 近邻 分 类 法 ， 将 未 知 模式 向 量 w 归 为 满足 


D(s;,2) = min|D(s,,2)— D(m, æ), 大 = 二 2 (1.4.24) 
的 近邻 s 所 属 的 模式 类 型 。 
两 个 向 量 之 间 的 相似 度 的 测度 不 一 定局 限于 距离 滑 数 。 两 个 向 量 的 夹 角 的 余弦 函数 
S(s; £) = cos(8,) = re (1.4.25) 
oe * liatllalleslle ~ 


也 是 相似 度 的 一 种 有 效 测度 。 若 cos(&) < cos(O,), Yj At RE, MAARARRAE = 
与 样本 模式 向 量 a, 最 相似 。 式 (1.4.25) 的 变型 
T 
Sene) = eee Ty =a (1.4.26) 
称 为 Tanimoto 测度 “47, 它 广 泛 应 用 于 信息 恢复 、 疾 病 分 类 、 动 物 和 植物 分 类 等 。 
待 分 类 的 信号 称 为 目标 信号 ,分 类 通常 是 根据 某 种 物理 或 几何 概念 进行 的 。 令 XA 
目标 信和 号，4; 代表 第 i 类 目标 的 分 类 概念 。 于是, 可 以 有 类 似 于 式 (1.4.17) 的 关系 ; 


(LADS YA), Voi (1.4.27) 


这 类 有 效 关系 一 般 用 目标 - 概念 距离 (object-concept distance) D(X, A;) 描述 120, 
此 , Ae - 概念 距离 D(X, A) 最 小 , 则 将 XX 归 为 第 i 类 日 标 Ci。 

以 上 介绍 了 五 种 相似 度 : Euclidean PER, Mahalanobis FER). ARIK. Tanimoto 测 
度 以 及 目标 - 概念 距离 。 
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14.3 正 交 向 量 在 移动 通信 中 的 应 用 

在 移动 通信 中 ， 总 是 有 很 多 用 户 希 望 能 够 同 字 一 个 发 射 媒 介 ， 进 行 无 线 通 信 。 这 种 
通信 方式 称 为 多 址 通信 。 多 直通 信 的 理论 基础 是 B24; 车 用 户 之 间 的 信号 可 以 做 到 正 交 ， 
这 些 用 户 就 可 以 同学 一 个 发 射 媒介 。 下 面 是 几 种 主要 的 多 址 通信 技术 : 


1.， 时 分 多 址 (time-division multiple access, TDMA) 

用 户 共 学 整个 频率 信道 ,但 每 个 用 户 被 基站 分 配 以 不 同 的 时 区 ， 并 匡 相 令 用 户 之 间 
播 有 保护 时 队 ， 以 使 得 他 们 的 信号 在 时 域 没 有 任何 重 囊 ,从 而 实现 用 户 信号 之 间 (在 时 
域 ) 的 正 交 , 即 有 (s(t) s6) = 0 Yi j, 参见 图 1.4.1。 由 于 在 用 户主 工作 的 时 区 , 只 有 
用 户 宇 的 离散 信号 向 量 s = [si(1), s,(2),… 9 (NT 不 为 零 ， 其 他 用 户 的 离散 信号 均 为 
FAH, 所 以 时 分 多 址 实际 上 依靠 向 量 正 交 (si, sj) = 0 实现 多 址 通信 。 


频率 


T 

TH 
a) 
TH 


时 间 
图 1.4.1 时 分 多 址 原 电 图 


2. 频 分 多 址 (frequency-division multiple access, FDMA) 

天 有 用 户 可 以 问 时 进行 通信 , 但 每 个 用 户 被 基站 分 配 以 不 同 的 通信 频道 。 苑 是 说 , 所 
有 用户 信号 在 频 域 没有 重 占 ,并 十 相 邻 几 户 的 频道 之 间 插 有 保护 频 队 ， 从 而 实现 用 户 信 
号 之 间 (在 频 域 ) 的 正 交 , 即 有 (S,(f),5)(f)) =0,Vi Aj» 如 图 1.4.2 所 示 。 


mrj 


用 户 3 


用 户 2 


AP 


时 间 
图 1.4.2 频 分 多 址 原理 图 
EHP i 工作 的 频段 , 经 过 频率 域 的 采样 ， 只 有 用 户 i 的 频 域 信号 为 非 零 向 量 形式 
8, = [Si(1), Si(2),… SCM". 其 他 用 户 的 铬 域 信号 为 等 向 量 。 办 此, 频 分 多 址 实际 上 依 
靠 向 量 正 交 G,,8,) = 0 实现 多 址 通信 。 
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3， 跳 频 - 码 分 多 址 (hopping-frequency code-division multiple access, HF-CDMA) 


在 同一 个 时 区 , 每 个 用 户 被 分 配 不 同 的 频道 , 并 且 相 邻 疾 道 之 间 插 有 保护 频 际 。 不同 


的 时 区 , 分 配给 用 户 的 频道 不 同 , 即 同一 个 用 户 的 频道 是 跳跃 变化 的 。 图 1.4.3 以 5 个 用 
PAP, BAT 4 次 跳 频 的 分 配 , 其 中 , 省 画 了 相 邻 频道 之 间 的 保护 频 障 。 
set art 
aeg lidar | 
APA HAA 
mea aeg 
mea 用 户 ]| 
may _ mey _ 
用 户 用 户 
(a) (b) 
频率 频率 二 
ee meg 
| 用户 3 me 
Ae J mes 
mes meg 
RPA . ‘ida . 
用 户 用 户 
©) (a) 


图 1.4.3 ” 跳 频 一 码 分 多 址 原理 图 
(a) 时 区 1; (b) 时 区 2; (c) 时 区 3: (d) 时 区 4 

ER, 只 要 能 够 保证 在 同一 时 区 , 各 个 用 户 的 频道 不 重 登 , 其 他 各 种 形式 的 跳 频 都 是 
可 行 的 。 

4.， 直接 序列 - 码 分 多 址 (direct sequence code-division multiple access, DS-CDMA) 

所 有 用 户 不 仅 可 以 同时 进行 通信 ， 并 且 共 享 整个 通信 频道 , 但 每 个 用 户 被 基站 分 配 
以 不 同 的 扩 频 码 向 量 8; = [si;(1), s;(2),… LT RR, 工 代表 扩 频 增益 。 盟 然 这 些 扩 
频 码 在 时 间 域 或 者 频率 域 都 起 重 合 的, 但 由 于 各 个 用 户 的 扩 频 码 为 伪 随 机 码 , 相互 正 交 ， 
故 码 分 多 址 依靠 扩 频 码 向 量 间 的 正 交 实 现 多 址 遵 信 。 
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1.4.4 向 量 范 数 用 作 Lyapunov 函数 


Lyapunov 直接 法 是 分 析 和 构造 线性 和 非 线性 控制 系统 最 成 功 的 下 具 之 一 。 

定理 1.4.1 (Lyapunov 稳定 性 定理 ) 苦 对 连续 系统 & = f(z) 或 离散 系统 zy1 = 
f(a.) 存在 一 个 函数 V(z) 具有 平衡 点 z= 0, BV 在 整个 R 内 满足 条 件 : 

(1) 六 是 正定 和 径 向 无 界 函 数 ， 

(2) * a #0 


DV = hm, sup Katta -vew <0 (连续 系统 ) 
或 
AV =Y(zs+l) 一 Yek)<0 (离散 系统 ) 


则 平衡 点 > = 0 是 全 局 渐 近 稳定 的 。 
在 向 量 x 的 n 维 空间 内 , 考 虐 用 向 其 范 数 


V(x) = |Weal 


作为 定理 1.4.1 PRAX Vie), 其 中 , W = [w wo, ---, wy] E m xn HH, Hmn 
和 rank(W) = no 
lp 范 数 (Holder 范 数 ) 构成 了 一 类 特殊 的 向 量 范 数 ,其 中 ，Euclidean 范 数 


1/2 
V(a) = |Wælz = (Sra?) (1.4.28) 
利 无 穷 范 数 
Vp 
V(e) = [Wall = jim (= ttal) = max{w} a} (1.4.29) 
是 Lyapunov 函数 的 两 个 重要 例子 。 


定理 1.4.2 03] KK V(x) = [Wel (其 中 , W È m xn SRE, H rank W =n) 是 
系统 下 = Aw 的 Lyapunov 函数 ， 当 且 仅 当 和 矩阵 W 是 矩阵 方程 


WA-QW=0 (1.4.30) 
的 解 ,假定 矩阵 @ 满足 条 件 
a(Q) <0 (1.4.31) 
其 中 I+ At 1 
AQ) = alm, poet (1.4.32) 


uQ) 有 时 称 为 矩阵 Q 的 对 数 和 矩阵 范 数 126), 注意, 对 数 和 矩阵 范 数 可 以 是 负数 , 这 一 点 实 
际 上 与 矩阵 范 数 非 负 的 性 质 相 违背 。 
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如 果 式 (1.4.28) NBL Lyapunov 函数 , 那么 它 的 平方 


V%(2) = [Wa]? = Yor =a" Wwe (1.4.33) 


= 
也 是 Lyapunov MX. Hk (1.4.33) 的 函数 为 二 次 型 aT Re, 其 中 


R=W'w (1.4.34) 


由 文献 [198] 知 , ERA CME A & = Aw 的 Lyapunov 函数 ， 当 且 仅 当 
A™R+RA=-Q (1.4.35) 


的 解 Q 是 一 个 正定 对 称 矩 阵 。 
另 一 方面 , 定理 1.4.2 表明 , 式 (1.4.28) 定义 的 函数 是 Lyapunov 函数 , 从 而 式 (1.4.33) 
fei Beth AE Lyapunov 函数 ， 当 甘 仅 当 甜 阵 方程 式 (1.4.30) 产生 一 个 满足 条 件 式 (1.4.31) 
的 矩阵 Q@。 这 就 证 明了 ,具有 条 件 Q > 0 的 Lyapunov 方程 和 具有 条 件 式 (1.4.31) HE 
阵 方程 式 (1.4.30) - :者 等 价 。 更 严格 地 , 可 以 用 让 面 的 定理 来 叙述 二 者 的 等 价 性 。 
定理 1.4.3253 下 面 两 个 集合 等 价 : 


L= {r eR" ATR+RA=-Q, 其 中 , Q,R>0, @ 对 称 } (1.4.36) 
Ly = {r €R™|R=W'™W,WA-QW =0, ÑP, p(Q) <0,rank(W) = a} 
(1.4.37) 


HARNESS ARLE Bays HER SAR. 


1.4.5 ”矩阵 的 范 数 与 内 积 

作为 一 种 算 子 , KER A e ROO 的 范 数 记 作 jj Al], CEER A 的 实 值 函数 , 必须 
REAU KEM: 

(1) 对 于 任何 非 零 矩阵 AAO, 其 范 数 大 于 零 , 即 |All > 0, 并 且 Joll =0. 

(2) 对 于 任意 复数 ec 有 jleAl| = lellAlle 

(3) 矩阵 范 数 满足 三 角 不 等 式 14 + Bl < |All + Bll 

(4) 两 个 矩阵 乘积 的 范 数 小 于 或 等 于 两 个 矩阵 范 数 的 乘积 ， 即 ABI < 4 川 号 1 。 

例 1.4.2 考查 nxn HER A ew 

£(A) = 5 losl 


i=1 j=1 


容易 验证 : 
(1) f(A) 20, 并 且 当 4=0 即 6) 三 0 时 f(4)=0。 
(2) AeA) = F SP layl = lel 30 ossl = lel f(A). 
i=1 j=1 1 


#1 j=: 
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(3) f(A + 已) = EY lls wD DD (lel + by) = F(A + B) 
Ge 
(4) eR, 和 有 , 


n 


DES ainbes 


v 
M» 


(4B) 


ii 
i 
= 
an 


Ù: 
Me 
Ms 


aikllakz| 


$ (F leal 3 > “ul 


i 
{ 
= 
由 


i 
[Me 


i 
à 
i 


= 
= 
=F 


=f 


因此 , Kia f(A) = EE 种 矩阵 范 数 。 


下 面 是 几 种 由 型 的 生 陈 范 数 229 

(1) Frobenius 范 数 

m oR 1/2 

lAl = (EE) (1.4.38) 
i=l j=1 


这 一 定义 可 以 视 为 向 其 的 Euclidean 范 数 对 按照 矩阵 各 行 排列 的 “长 向 最 ” 
z= [aus Qin Aap ss Gani" Om rama]? 


的 推广 。 矩阵 的 Frobenius 范 数 也 称 Euclidean 范 数 ,Schur 范 数 、 Hilbert-Schmidt 
范 数 或 者 1 范 数 。 
(2) Ly WH Jazi 
je T 
(All, $ m: max m 2 (1.4.39) 
式 中 , jlzj EEH e 的 加 HEB sh (1.4.6) EX J, 范 数 也 称 Minkowski p 范 
数 , 或 者 简称 p 范 数 。 
(3) 行 和 范 数 (row-sum norm} 


| Alow = ax, ws {Shih (1.4.40) 
(4) 列 和 范 数 (column-sum norm) 
Alcor = max {Sie} (1.4.41) 
S98" Lisl 


(5) 谱 范 数 (spectrum norm) 


llAllspec = Tmax = VAmex (1.4.42) 
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RP Oma 是 矩阵 A 的 最 大 奇异 值 , 即 ATA 的 最 大 特征 值 Ama 的 正平 方 根 。 
谱 范 数 也 称 最 大 奇异 值 范 数 或 者 算 子 范 数 (operator norm). 
(6) Mahalanobis 范 数 
lAlo = ytr( AFRA) (1.4.43) 
AP, 8 为 正定 矩阵 (所 有 特征 值 大 于 零 的 矩阵 )。 
可 以 看 出 , mx n IERE 4 的 范 数 与 向 基 的 范 数 有 所 不 同 。 
注意 , 向 址 = 的 1, 范 数 el, 相当 于 该 向 量 的 长 度 。 当 和 矩 阵 4 作用 于 长 度 为 |ælp 
的 向 量 a 时 , 得 到 线性 变换 结果 为 向 量 Aw, 其 长 度 为 14zj。 线 性 变换 矩阵 ATTRA 
一 线性 放大 器 算 子 。 因 此 ,比率 |All, /|alt, 提供 了 线性 变换 Aw 相对 于 z 的 放大 售 数 ， 
而 知 阵 A 的 p 范 数 Al), 是 由 A 产生 的 最 大 放大 倍数 。 类似 地 ,放大 器 算 子 4 的 最 小 
放大 倍数 由 


min|Al, 2 in le (1.4.44) 
P æo ælg 


给 出 。 比 率 41/ min lAl, 描述 放大 器 算 子 A 的 “动态 范围 ”。 
F A,B 是 mx n SEE, 则 抵 阵 的 范 数 具有 以 下 性 质 : 


14+ B| +A- B| = xA]? + (BIP) (平行 四 边 形 法 则 ) (1.4.45) 
[A+ BIIJA — Bll < AIP + BI? (1.4.46) 
与 矩阵 的 范 数 密切 相关 的 量 是 矩阵 的 内 积 。 对 任意 m x n SPE A 和 B, ERER 


内 积 记 作 (A, B) 定义 为 
(A,B) ~ APB (1.4.47) 


以 下 是 矩阵 的 内 积 与 范 数 之 间 的 关系 PA), 
(1) Cauchy-Schwartz 不 等 式 


(4, B)? < AIP BI? (1.4.48) 


ASR HHK 4 = cB, 其 中 , c 是 某 个 复 常 数 。 
(2) Pathagoras 定理 


(AB) =0 > WA+ 8)? =A]? + IBI? (1.4.49) 

O 极 化 恒等式 
Re((A,B)) = 3 (A+ BI? — |A — BIP) (1.4.50) 
Re((A, B) = $ (IA + BI? — AIP ~ BIP) aas) 


RP, Rel) 表示 取 复数 的 实 部 。 


1.5 $5 Gram-Schmidt E(t 4T 


1.5 #5 Gram-Schmidt 正 交 化 


EUR n Kt Euclidean 空间 R 只 有 一 个 , 但 n 阶 向 量 空间 如 有 很 多 。 例 如, 对 所 有 
实数 a, 8,Y, 向 量 > = [0,0, a,8, 和 JT 的 集合 W 是 一 个 5 阶 向 量 空间 , 即 Wi 内 的 每 :~ 
个 向 量 都 属于 RS 空间 。 然 而 ,向量 y = [1,5, oa, 8, 7 却 不 属 丁 向 量 空间 W, 尽管 它 仍 
然 在 5 阶 Euclidean 418] R5 A. 内 此 , 可 以 称 Wi 是 RO 内 的 一 个 于 空间 。 本 节 讨 论 如 
何 生成 所 希望 的 向 量子 空间 这 一 重要 问题 。 


1.5.1 ”向 量子 空间 的 基 


HEA BLAME LAA, R 空间 的 多 个 向 其 的 所 有 线性 组 合 也 属 丁 R"。 例 如, 考 
E R 的 三 个 nx 1 向量 zl zayza。 对 于 实数 aana HAHAH (c2) 知 , ax, 和 aya, 
均 位 于 Euclidean n 空间 BR". MEA (c1), aya, + aozy 在 Rm 内。 类似 地 , 可 以 证 明 
(ay) +asza) +055 也 在 R” 内 。 这 启迪 我 们 , 车 ay, ray zs 大 R 中 的 三 个 线性 无 关 的 
AE, W Rr 中 可 以 用 这 三 个 线性 无 关 向 量 的 线性 组 合 表示 的 所 有 向 量 构成 R 的 一 个 
子 空间 。 从 这 个 意义 上 讲 , 可 以 认为 这 三 个 线性 无 关 向 量 的 集合 (21, 27,23} 张 成 (span) 
或 生成 (generate) 了 Euclidean n 空间 R° 的 一 个 子 空间 。 推 市 广 之 , 可 引出 上面 的 子 空 
间 定 义 。 

定义 1.5.1 kt tpt ,za 的 所 有 线性 组 合 的 集合 称 为 由 zl zz,… ,za 张 成 
(RER) 的 子 空间 或 闭 包 (closure), 记 作 


W = Span{%1, za , 2g} = Close{®1, po Ea} (1.5.1) 
向 量 ml, za --- ,zs 称 为 子 空间 W 的 张 成 集 (spanning set) 或 生成 元 (generator). 

容易 验证 , WE 21, xz,… ,za 的 所 有 线性 组 合 的 集合 满足 定理 1.5.1 关于 一 个 子 空 
间 的 判断 条 件 。 需 要 注意 的 是 , 一 个 子 空间 的 张 成 集 并 不 是 唯一 的 。 显然 , 子 空间 W 内 
所 有 向 量 的 集合 也 生成 子 空间 W. 这样 一 种 向 量 集合 称 为 子 空间 W 的 平凡 张 成 集 或 平 
凡生 成 元 。 在 矩阵 分 析 及 其 应 用 中 , 重要 的 起 寻找 生成 一 个 子 空间 W 的 生成 元 的 最 小 集 
合 , Bl W 只 需要 用 d 个 向 量 即 可 生成 。 这 就 引出 了 了 空间 的 其 向 量 的 概念 。 

定义 1.5.2 生成 子 空间 W 的 线性 无 关 的 向 量 fa atz，… ug) 称 为 子 空间 W 的 
基 向 量 (basis vectors) 或 简称 为 基 。 生 成子 空间 W 的 基 向 量 的 个 数 称 为 子 空间 W 的 维 


数 , 即 有 


d = dim(Span{t,,vg,--- ,ta}) (1.5.2) 


ESERE, {unu ,Wa} 只 是 子 空间 W 的 一 组 基 ， 并 非 叭 一 的 基 。 这 是 内 
为 , 对 丁 n 阶 向 二 空间 的 一 个 d 维 子 空间 W 而 言 ,向量 空间 V 中 任何 d 个 线性 无 关 向 
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量 的 集合 都 张 成 子 空间 不 。 虽 然 一 个 子 空 间 可 能 存在 许多 基 的 选择 , 但 是 所 有 基 都 具有 
相同 的 向 基 个 数 。 
例如 ，R? 子 空间 既 可 以 由 基 向 重 


-iii 


FE ET DA hkk g dak 


牛 成 。 KERN B® 内 的 任意 一 个 向 量 abd 者 可 以 写成 线性 组 合 


elt 


即 可 。 例如 
1 0 0 
0 1 0 
&= j.j &5]j.i> 1 en 一 |: 
0 0 1 


是 Euclidean n 空间 R 的 一 组 基 向 量 ， 因 为 任何 一 个 向 量 æ = [x(1),2(2),--- e(n) € 
R" 都 可 以 用 e; 向 量 表示 为 


z= Dne = [o(1), 2(2), -++ , s(n)" 


i=l 
定义 1.5.3 47 {anan ,Qn} Al {Apn ,Bn} 十 两 组 不 同 的 基 , 并 且 afp; = 
0, 则 称 其 中 一 组 基 是 另外 一 组 基 的 对 侦 基 (dual basis) 
EX 1.5.4 $ {21,22,… En} EFEN Span{z21,22,… tp) 的 基 向 量 。 若 这 些 
基 向 基 满 足 正 交 条 件 


spw) = ele; =0, Yižj (1.5.3) 
in V5) = Bi L; 


则 称 这 些 基 向 量 为 正 交 基 向 量 。 
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EM 1.5.5 SERN (2,,29,---,0,) 中 所 有 向 芋 的 范 数 均等 于 1， 即 
læ =1, i=1,2, ,天 (1.5.4) 


则 称 为 标准 正 交 基 向 量 (orthonormal basis vectors). 
例 1.5.1 (Fourier 级 数 的 止 交 基 ) MARE a(t) AAMAR RAMA T, H 


函数 是 绝对 平方 可 积分 的 , Hl 


三 |z(bPdt < 00 
则 函数 x(t) 可 以 用 Fourier 展开 表示 为 


alt= J peint {1.5.5) 


n=—oe 


其 中 ,un = 2n/T。 因此 ,上述 Fourier RBH TH 


1, ei vot, ejot gi vot... 


容易 验证 , 它们 是 一 组 标准 正 交 基 向 量 。 
例 1.5.2 为 了 将 时 变 信 和 号 的 不 连续 性 隔离 计 , 实现 信号 的 多 分 辨 率 分 析 , 小 波 变 换 


通过 平移 和 伟 缩 单个 原 像 小 波 AC), BRIER 
(=) ， ae B+( 正 的 实数 集合 ) (L5.6) 


1 
haelt) = oh 


万 
其 中 ,a Mb 分别 为 伸缩 和 平移 参数 。 道 过 改变 促 缩 参数 a 的 大 小 ， 即 可 构造 持续 时 间 
很 短 的 高 频 基 消 数 和 持续 时 间 较 长 的 低频 基 函 数 , 信号 z(t) 的 离散 小 波 变换 定义 为 


a 


WT, (m,n) = az"? 广 (Dh(as™t — nbo)dt (1.5.7) 


al 
oo 


其 标准 正 交 基 由 Haar 基 


1/2<t<1 (1.5.8) 


1, Ogt<12 
0， 其 他 


All ay = 2, by = 1 Bie 
向 量 空间 的 子 空间 具有 以 下 性 质 。 
(1) HW, AW, 是 向 量 空间 V PONTE, WET W NW, 也 是 了 
的 子 空间 。 
证 明 因为 0€ W, MOE Wy, KH Oc (W, NW), RZE w nw, 非 空 。 令 
æy E (WiN Wa). WH x,y € Wi F x,y € Wo 知 ,对 于 任意 o,f eS, EA 


oar+pyeW 和 as + Bye W 
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故 有 az + By < (WNW). 因此 , 由 定义 1.5.2 知 W, NW, 是 向 量 空间 Y ATEN. E 
(2) BOW, 和 Ws 是 向 量 空间 V 中 的 学 空 间 , 则 和 Wi +W 也 是 Y 的 子 空间 。 
证 明 显然 0 € (W+ We) BW, + W, EÈ. 假定 zy © (Wi +W) WEE 

01,9) € Wi 和 2, yo E We, WB æ = w, +æ M y = y tye. 于是, 对 丁 所 有 a,B € 5， 

有 

om, + By, EW, 和 as, + By, © Wz 
由 此 得 
as + By = (ax, + fyi) + (am, + By2) € Wi + We 
据 定义 1.5.2 知 , Wi + We 也 是 向 其 空 间 VV 的 子 空间 。 Ê 


1.5.2 Gram-Schmidt 正 交 化 


如 前 所 述 , 线性 无 关 的 向 量 x1,22,… ,2n 构成 nn 维 向 量子 空间 Span{x,,a5,--- ,2,,} 
的 基 向 量 。 在 许多 应 用 中 , 往往 希望 基 古 标准 正 交 的 。 

下 面 的 定理 给 出 了 将 zj, ez, …… ,xn 转换 为 标准 正 交 向 量 组 {uun ,an} 的 方 
法 ， 称 为 Gram-Schmidt ER e 

定理 1.5.1 > {fzl,zo…，,zn} 2p 维 向 基 子 空间 W 的 任意 一 组 基 ( 即 线性 无 关 
的 向 量 )。 于 是 , 子 空间 W 的 标准 正 交 基 {u ug, ++ ,en} 可 以 通过 Gram-Schmidt 正 交 
化 构造 如 下 ， 


Py xy 
=£, w=- = 
men 1 pl fel 
k-1 
P= r, ~ So (ulle,)u;, uy = PE (1.5.9) 
=. ipali 


AP, 2k Sn 

证 明 (1) 使 用 数学 归纳 法 证 明 由 式 (1.5.9) 构造 的 向 量 tw, mo,… ,wn 全 部 都 基 非 
零 和 有 限 大 的 向 量 。 

由 于 gtp ,wa 是 一 组 基 , 它们 都 是 非 零 向 量 ， 改 向 量 wi = 2, /ljzill 是 非 零 向 
量 。 因 此 , 内 积 ufu, = 1。 又 由 于 e; 是 非 正 交 的 ， 于 是 有 ule, = clle,/|2,|| 40. 考 
虚 由 式 (1.5.9) 构造 的 向 量 


H 
Py = Ti- (uï ea) =z- ine =£ t; 

SP, c= eles /||ei |? 40, WHARA. 由 于 za 和 zi 线性 无 关 , 故 py = x2 一 cel £0, 

HARA, AT ws = pz/ilpzll 是 有 限 大 的 非 零 向 量 。 假 定 由 式 (1-5.9) 构造 的 p_i (从 

而 uni) 是 非 零 和 有 限 大 的 向 量 , 则 


nl 


nol pie, 
Pa = 2, — (ude = wo ~ > Taf” 
i=l i 


i=l 
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是 有 限 大 的 , 因为 p1, ps,… o Paa 全 部 龙 非 零 向 量 , 即 jp? £0, i=1,2---,n-1. B 
一 方面 , 由 于 p, BA Zz1, 22,… ,zu 构造 的 , 故 可 以 将 pa 写作 


Pn = By — CVT — Cp Bey 
然而 , 由 于 zw; 之 间 的 线性 无 关 性 , 不 存在 全 部 非 零 的 c, 使 得 
By = Cy + +O, Bey 


Wp, 一 定 是 非 零 的 ， 从 而 w 一 定 是 有 限 大 的 非 零 向 量 。 
(2) 再 使 用 数学 归纳 法 证 明 p, 之 间 的 正 交 性 。 
记 住 pi = zl 和 uy = ra/lizal， 容 易 验证 : 


H 
zig, 
Pip: = af [wy — (ue) ] = w]e, 一 Ag E zie, =0 
1 


假设 pi,p2,… ,Pn_! 正 交 。 由 式 (15.9) MWR j <n 有 


acl 


nol H, H 
iT, Pj P: 
PPn = PF [- - Fenu] = Bite De Ca) (ir) 
7; ; 


i=] ?一 1 


= pHa, — pie, =0 


_ PË P; i=j 
zm fi l ij 
这 就 证 明了 由 式 (1.5.9) 构造 的 基 向 量 ph,Ppz,… ;pn 相互 正 交 。 再 由 w; = p;/lpl 2 
Hl, t,t, ,un 相互 正 交 , 且 每 个 向 其 的 范 数 等 于 1， 即 它们 组 成 标准 正 交 基 。 W 
式 (1.5.9) 所 示 算 法 称 为 经 典 Gram-Schmidt 正 交 化 算法 。 
例 1.5.3 $ W = Span{z,, æ} Æ R? 的 子 空间 , 其 中 


-i E 


利用 经 典 Gram-Schmidt 正 交 化 算法 构造 子 空间 W 的 正 交 基 和 标准 正 交 基 。 
解 令 所 构造 的 W 子 空间 的 正 交 基 向 量 为 pl,pa。 根据 Gram-Schmidt 正 交 化 过 程 ， 
定义 p, = 2), pz = za +ap 其 中 , 常数 a 根据 正 交 条 件 pip. = 0 确定 。 H 


PIP, = p] (£2 + apı) = pi £ + apr p, = —12 + 6a = 0 


fa =2.4a= 1 时 , ps = ey +2p, = [1,4,0]7. AH, 砂子 空间 的 正 交 基 为 B = {pP} 


” -i i 
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标准 正 交 基 为 


1 
= 1 
vp Vit 
= |= = 4 
ane bd Oe Ba 
2 
Ve 0 


经 典 Gram-Schmidt 正 交 化 算法 的 主要 缺点 古 其 数值 性 能 有 时 不 好 。 相 比 之 下 , Björck 
的 修正 Gram-Schmidt 正 交 化 算法 (和 9 具有 更 好 的 性 能 。 这 一 修正 算法 的 基本 思想 如 上。 
第 - 步 , 和 经 典 算法 一 样 ， 先 构造 第 一 个 向 直 


Zi 
u = 
læ, f 


再 对 其 他 数据 向 量 wz, za … ,zx 进行 修正 ， 以 便 保 证 修正 后 的 数据 向 最 


aP = a ~ (ufea 3 
与 uy 正 交 , 即 of 1 j,i =2,3,--- 6 


二 步 , 构造 第 一 个 向 最 


aa 
aR 


a) 
To 
uy = 2 
etl 


它 已 经 与 wi EX. 然后 , 再 对 剩余 的 向 量 of a,- 0 进行 修正 ， 以 使 得 修正 后 
的 向 量 


2) =e — (ule jay, i=3,4,.,n 


与 wz EX, 即 aP 1 uy, 6 = 3,4,--- ye 
与 第 一 步 和 第 二 步 相 类 似 , 第 大 个 正 交 化 的 向 基 定 义 为 
1) 
Eh 


“= a 


并 得 到 被 修正 的 数据 向 量 
a) = aft) 一 (ual! yu, t= k+1k+2,--- 0 
直至 得 到 正 交 化 向 量 un Nik. 
$ X = [e122,… eq], 则 修正 Gram-Schmidt 正 交 化 算法 可 以 利用 MATLAB HK 
数 U=mgs(X) 实现 。 


1.6 ”矩阵 的 标量 函数 


矩阵 的 很 多 性 质 可 以 使 用 标 基 晴 数 掺 述 。 前面 介绍 的 矩阵 范 数 的 定义 形式 尽管 有 多 
种 , 但 它们 都 是 矩阵 的 标量 阔 数 。 本 节 将 介绍 矩阵 的 其 他 几 个 重要 的 标量 函数 。 这 些 标 
量 函数 是 , 矩阵 的 一 次 型 、 迹 、 行 列 式 和 秩 。 
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1.6.1 ”矩阵 的 二 次 型 
任意 一 个 正方 矩阵 A 的 二 次 型 HAs ERRE AUKEREN, 考查 二 次 型 


1 4 2 fz 
aw? Ag = [rilyzo,zral] |-1 7 5| [z2 
-1 6 3| [zs 


= £? — remy — Lai + 42,29 + 723 十 6zsza + 22,25 十 5za73 + 323 


= 2} + 7x} + 323 + 32,22 + 2123 + 112273 


这 是 变 元 x 的 二 次 型 函数 ， 故 称 oT Aw 为 矩阵 4 的 二 次 型 。 
推 而 广 之 , E we = [ta En] Hn xn ERE A 的 元 素 为 oj， 则 二 次 型 


2ZT4z = > Vaz; (1.6.1) 
1 jal 
n noon 
=J aat Yo Dogus (1.6.2) 
二 1 i=1 #4) I=1 
n nl n 
=} aur? + > > (ai + ay} TTy (1.6.3) 


ef tai jt 
根据 这 一 公式 ， 显 然 
1 4 2 1 -1 -1 10 1.5 05 
A=[-1 75], B=AT=|4 7 6], C={15 70 55], 


1 114 52 1 114 52 
D=| -u1 7 2], F=|-m 7 4|, 
一 51 9 3 
具有 相同 的 二 次 型 , 即 
zT47 一 zTBz 一 zTCOz = g" De =z" Fe 
= z? + Tr? + 323 + 32,2, + 2123 十 117273 
RAR, WEAF kM 
n n on 
(zl za Tn) = Yous? + 2 Layee; 
1 i=l, i#j j=l 


存在 许多 矩阵 A, 它们 的 二 次 型 TAT = f(2, 23 ,zn) HA. EE, KAA 
称 矩 阵 A 满足 ETAS = f(z1,x2，-… ,zn), HOB a, = ap May = ap = Flay tog) 
其 中 , i=1,2, 7 了 = 了 2 pn ije AK. ENO A 的 二 次 型 时 ,通常 都 假 
E 4 ASAE SIEM AK (BN Hermitian) 矩阵 。 

如 果 将 大 于 零 的 二 次 型 PAs 称 为 正定 的 二 次 型 , 则 与 之 对 应 的 Hermitian 矩阵 称 
ATE RABE. Aie, 还 可 以 定义 Hermitian 矩阵 的 半 正 定性 、 负 定性 和 半 负 定性 。 
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定义 1.6.1 -DERRER 4 称 为 


EEM, & LRM rHAs>0, Va £0; 

半 正 定 矩 阵 , 苦 。 二 次 型 za4z > 0, va ZO (也 称 非 负 定 的 ); 
负 定 矩阵 ， 若 二 次 型 za4hz <0, Va £0; 

FREE, 车 。 二 次 型 zs4z 和 0，Yz 夫 0 (也 称 非 正定 的 ); 
TEHER, & 二 次 型 at As 既 可 能 取 正 值 ， 也 可 能 取 负 值 。 


例 1.6.1 实 对 称 和 矩阵 
3 -1 0 
R=] -1 3 -1 
0 -1 3 


是 正定 的 ， 因 为 二 次 型 wt Re = 2r} + 2} + 208 + (xy — s3)? + (ay — 23} > 0, BRIE 
2, = Lg = 23 = 0o 

SRE | Ag Ee EE FZ BEA Sh ER 

FEM 1.6.2 REF Any, 的 元 素 为 i)。 称 4 AIERAEE (nonnegative matrix), 7 


Vi=1l,2 mj = (1.6.4) 


即 A TARR AN. BEA BHR, 即 4 的 所 有 元 素 为 正 ， 则 称 
A HIEP (positive matrix). 
SEAREMAEM AS WAS A > 0 和 A> Of. 下 面 是 正定 矩阵 与 正 答 阵 之 
KA: 

(1) 正定 矩阵 限定 为 正方 矩阵 ,而 正 矩 阵 可 以 是 非 正方 的 矩阵 。 

(2) EZER 4 由 其 二 次 型 za4z > 0, Ye 40 定义 , 而 正和 矩阵 则 由 其 元 素 ay > 0 
定义 。 

{3) 正定 矩阵 常用 符号 HAs > 0 表示 , 而 正 矩 阵 则 用 符号 4 > 0 表示 。 

然而 ,在 有 些 文献 中 , 也 用 符号 4 > 0 和 4 > 0 分 别 表示 正定 矩阵 和 半 正 定 矩 阵 ， 
用 4<0 和 4 和 0 分 别 表 示 负 定 矩 阵 和 半 负 定 阜 阵 ， 需 注意 加 以 区 别 。 

关于 二 次 型 , 有 下 面 的 结果 ( 称 为 Debreu 引 理 )。 

引 理 1.6108 Ae m xn HE J Ae xn 对 称 矩 阵 A. 二 次 型 zTHZ > 0 对 所 
有 满足 Je = 0 的 向 量 z 成 立 ， 当 且 仅 当 存在 一 个 有 限 大 的 数 5 > 0, 使 得 H +o 
对 所 有 p > 5 都 是 正定 的 。 


1.6.2 ”和 矩阵 的 迹 
定义 1.6.3 nxn HE A 的 对 角 元 素 之 和 称 为 4 的 迹 (trace), 记 作 (A), BF 


n 
tr( A) = ayy +ü ++ ay = Dan (1.6.5) 


at 
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例 1.6.2 PE 


的 迹 为 trf{4) = 14+5+7= 13。 
非 正方 矩阵 无 迹 的 定义 。 下 面 大 矩阵 的 迹 满 足 的 等 式 、 不 等 式 关 系 与 一 些 性 质 。 
L 关于 迹 的 等 式 P 
0) # A Al BIIH nxn ER, W tr(A + B) = tr(A) + tr(B). 
(2) E c 古 一 个 复 或 老实 的 常数 , 则 te(cA) = ctr(4)。 
(3) 4 A Al BABA nxn EB, 并 且 c 和 cz 为 常数 , 则 tr(e14 土 czB) = citr(4) 土 
catr( 吾 )。 
(4) JERE A WEE, SM OA 
tr(AT) = tr(A) 
tr(4*) = [t(4)]" 
tr(4") = ftr(A)]* 


(5) 迹 是 相似 不 变量 ; 车 4 为 m xn SER HBH nx mHE J 
tr(AB) = tr(BA) 
(6) 车 矩阵 A 和 BB 均 为 m x m 矩阵 ,并且 B 非 奇异 ， 则 
tr(BAB™") = tr(B“' AB) = tr(A) 
(1) Æ 4 是 一 个 四 xm 矩阵 ,， 则 tr(4E4) = 00 A = Omya (FER). 
(8) z" Aa = tr(Aae™) 和 ae = trey"). 
(9) ER 


tr É 引 =tr(C4)ttr(D) 


AP, Ae Cmxm 盏 ECnxmCECnxm DEO™™, 
(10) 4ER AMA 和 AA” 的 迹 相等 , 且 有 
tr(4H4) = tr(44B) = £ j aljaj (1.6.6) 
i=1 j=] 
(11) 迹 等 于 特征 值 之 和 ， 即 
tr(A) = Ar + Ag tt An (1.6.7) 
(12) SFE Ek. 有 


tr(A*) = £ AE (1.6.8) 


1h 


式 右 的 和 称 为 4 的 诸 特征 值 的 上 WE 
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2 关于 迹 的 不 等 式 200 

(对 一 个 复 和 矩阵 AO, FF tr(ABA) = tr( AA") 200 

(2) FA BWA mxn SER, 则 
tr[(A7B)’] < tr(AT A)tr( BTB) (Cauchy-Schwartz 不 等 式 ) 
tr[(ATB)] < tr(ATABTB) 
tr[(A?B)?} < tr(AATBB?) 

(3) Schur 不 等 式 : tr(A”) < tr(ATA). 

(4) tr[(A+ B)(A+ B)"] < 2[tr(AA™) + tr(BB™)j. 

(5) # AM B H mxm 对 称 矩阵 , 则 tr(4B) < ba(A? +B), 

类 似 于 向 基 的 Euclidean 范 数 lz|| = (17s), 一 个 m x n KIER A 的 Frobenius 

范 数 也 可 利用 和 xm MERE ATA RE n xn ERE AAT 的 迹 定义 为 296, p10) 


\|Allp = Vtr(4T4) = Vtr(AAT) (1.6.9) 


1.6.3 行列 式 
一 个 n xn 正方 矩阵 A 的 行列 式 记 作 det(A) È |A], 定义 为 
Qu 02 U Aln 
det(A) = [Al = [2 97 7" (1.6.10) 
an ana Cl anm 


E A= {a} eC, MAMTA eH det(A) = a 给 出 。 

JERE A 去 掉 第 i 行 和 第 j 列 之 后 得 到 的 剩余 行列 式 记 作 45， 称 为 元 素 ay 的 余子 
式 (cofactor). 特别 地 , “4 j =i t, A; = Ay 称 为 4 WEFR: EG Ay 是 n xn 敌阵 
AME ¢ 行 和 第 j 列 之 后 得 到 的 (n 一 1) x (n— 1) THERE, 则 


Ag = (-1)'*7 det(A) (1.6.11) 


一 个 xn SRMTARS TERT (或 列 ) 的 元 素 与 相对 应 的 余子 式 乘积 之 和 ， 


即 
det(A) = a Ag + a;gA; t+ + GmAin = >》 a (—1)**? det(A) (1.6.12) 
ja 
RE 
det(A) = a1;4y, + azjAz + + Ong Any = Yan Tt det(A;;) (1.6.13) 


因此 , 行列 式 需 要 递 推 计算 : n 阶 行列 式 由 (n ~ 1) 阶 行列 式 计算 , (nm - 1) 阶 行列 式 义 由 
{n 一 2) 行列 式 计算 等 。 
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特别 地 , MT 3 x 3 HERE A, 其 行列 式 可 以 通过 


Ql 412 B13 
det(A) = det faz, G22 G93) = tA 二 alia4iz 二 aaa41s 
G31 032 Q33. 
Q21 22 


a a; 
22 82g 1+2 
+ a12{—1) 

@31 933 


+ a43(—1)'*% 
asa 33 13( } 


=a (1) 


@21 G23 
231 233 


= 11 (422033 — 023032) 一 412(021033 — 023031) + G13(021033 — aa203l ) 


直接 计算 。 这 一 方法 称 为 行列 式 计算 的 对 角 线 法 。 
定义 1.6.4 行列 式 不 等 于 零 的 矩阵 称 为 不 奇 异 缸 阵 。 
非 奇 异 矩 阵 A FEWER AM. 


IT， 关于 行列 式 的 等 式 关系 D001 


行列 式 服从 以 下 等 式 关 系 。 

(1) 如 果 和 矩阵 的 两 行 (或 列 ) 互 换 位 置 ， 则 行列 式 保持 不 变 。 

(2) 老 矩 阵 的 某 行 (或 列 ) 是 其 他 行 (或 列 ) 的 线性 组 合 , 则 det(4) = 0。 特 草地 , AF 
某 行 (或 列 ) 与 另 一 行 (或 列 ) 成 正比 或 相等 , RARI (或 列 ) 的 元 素 均等 于 零 ， 
TR) det(A) = 0。 

(3) 任何 一 个 正方 矩阵 A 和 它 的 转 置 矩阵 AT 具有 相同 的 行列 式 , 即 


det(A) = det(A™) (1.6.14) 


但 det(4H) = [det(A™)}*. 
(4) 单位 矩阵 的 行列 式 等 于 1, 即 det(Z) = 1. 
(5) 一 个 Hermitian 矩阵 的 行列 式 为 实数 , 因为 


det(A) = det( 4") = det(A™) = det(A) = det(A*) = [det(A)" (1.6.15) 
(6) 两 个 矩阵 乘积 的 行列 式 等 于 它们 的 行列 式 的 乘积 , 即 


det(AB) = det(A) det(B), A,BEC™" (1.6.16) 


(7) 对 于 一 个 三 角 (ED ARP SAD) 矩阵 4， 其 行列 式 等 本 三 角 和 矩阵 主 对 角 线 所 有 
元 素 的 乘积 ， 即 a 
det(A) = TI os 
ist 
个 对 角 和 矩阵 A = diag(a11;422,… ,enn) 的 行列 式 也 等 于 其 对 角 元 素 的 乘积 。 
(8) 给 定 一 个 任意 的 常数 (可 以 是 复数 ) c, 则 


det(cA) = c” det(A) (1.6.17) 
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(9) 若 A 非 奇 异 , 则 det( A71) = (det( 4))-i。 
(10) 对 于 和 矩阵 Amem Bmxns Cnxm, Daxa’ 分 块 矩阵 的 行列 式 满足 


AFAR <> det (6 引 = det(A) det(D - C4-IB) 


(1.6.18) 
或 


万 非 奇 量 = det é B 


c Al = det(D) det(A ~ BDC) (1.6.19) 
下 面 给 出 式 (1.6.18) 的 证 明 。 若 A 非 奇异 ,， 则 容易 验证 分 块 矩阵 


é ali coal 区“ 


注意 到 |ML| = |M||L| 和 


RO P Y 
x gam, |5 g-ra 


故 有 


A B|_|A o I A'B 
C Dc D-CA“B||O I 
=|AIID - CAT BIT] 


= |A|ID-CAB| 


类 似 地, 可 以 证 明 式 (1.6.19). 


2. 关于 行列 式 的 不 等 式 关 系 B801 


(1) Cauchy-Schwartz PER: 若 A,B 都 是 m xn HE, WU 


|det(AĦB)|? < det(AA) det( BEB) 
(2) Hadamard 不 等 式 : 对 于 m x m HE A, 有 


m m 1/2 
det(A) < J] (Ser) 


i=1 (j=1 


(3) Fischer 不 等 式 : 车 Amx Bmxns Cnn? M 


det (lé al) < det(A) det(C) 
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(4) Minkowski 不 等 式 : 2 Amxm #Omxm: Bmxm Z Omxm FEE. 


Wdet(4 + B) > Vaet(A 


(5) 正定 矩阵 4 的 行列 式 大 于 0, 即 det(A) > 0. 


) + Ydet(B) 


(6) FERE A 的 行列 式 大 于 或 者 等 于 0,， 即 det(A) > 0. 


(7) 车 mx mE 4 YEE W 


(8) IERE Amxm Bmxm 均 半 正定 , M 


(det(A)) Vm < 去 det(A) 


det(A + B) > det(A) + det(B) 


(9) Ë Amxm 正定 ， Binxm 半 正 定 , W 


det(A + B) > det(A) 


(10) Ë Amxm EX, Bnrm 半 负 定 , 则 


det(A + B) < det(A) 


1.6.4 ”矩阵 的 秩 


则 


4 n xn 矩阵 A FEER 4-! 时 , RENIE Ae = b 有 解 = = Ab. WERE 


A 存在 , 仅 当 行列 式 |4| A 0。 因 此 , EREET As =b 的 解 > = 


A'b 时 , 需要 


事先 确定 行列 式 A EBETE? 一 个 nxn 矩阵 的 行列 式 不 等 于 零 ， 当 且 仅 当 该 矩阵 


的 行 或 者 列 彼此 线性 无 关 。 


上 述 讨论 也 可 以 推广 到 m x n ERE 4 的 情况 : 矩阵 方程 As = 五 是 否 有 解 , 决定 于 
HERE A 的 行 或 者 列 是 否 线性 无 关 。 此 外 , 在 讨论 矩阵 4mxn 的 一 些 重要 性 质 时 , 线性 无 
关 的 行 和 列 也 常常 起 着 重要 的 作用 。 一 个 自然 会 问 的 问题 是 :“ 一 个 给 定 的 矩阵 Anne 究 


竟 有 多 少 个 线性 无 关 的 行 向 量 和 列 向 基 ”? 在 回答 这 个 问题 之 前 , 首先 让 我 们 来 考虑 一 个 
与 之 有 关 的 问题 “一 组 p 维 向 量 中 最 多 能 够 有 几 个 线性 无 关 的 向 量 "? 
定理 1.6.1 Ap 维 (TRI) 向量 的 集合 之 中 , 最 多 存在 p 个 线性 无 关 的 《 行 或 列 ) 


向 量 。 


证 明 [4127-168] uy, ato ,wp AE p 个 线性 无 关 的 p 维 向 量 ， 并 且 up 起 另 


一 个 非 零 的 p 维 向 量 。 下 面 证 明 这 一 向 量 与 ttz 


,ap 线性 相关 。 上 


日 于 矩阵 U = 


lusus Mp] 具有 线性 无 关 的 列 ， 所 以 其 行列 式 U] #0, MEERE U 存在 。 令 
q=-U"u,, We 不 是 零 向 量 ( 即 其 元 素 不 可 能 全 部 为 零 )， 因 为 upi 是 非 等 向 量 。 


60 第 1 章 和 矩阵 与 线性 方程 组 


另 由 g= -Thu AUqtu,,=0, B 
Quy 十 ote +--+ GU, + Up = 0 


由 下 gy,… a, 不 可 能 全 部 为 零 , 上 式 意味 着 upp 是 线性 无 关 的 向 量 组 {uua ,aa 
的 线性 组 合 。 即 是 说 ， 当 unuz ,ww 线性 无 关 时 ,不 可 能 存 企 另 外 一 个 向 量 ， 使 得 这 
p+ 个 向 量 线性 无 关 。 n 

AT EAN, MTE “HEE 4wxw 有 多 少 个 线性 无 关 的 行 向 量 和 列 向 量 ” 这 一 
重要 问题 。 

定理 1.6.2 HORE Amen 的 线性 无 关 行 数 与 线性 无 关 列 数 相同 。 

证 明 A, E p 个 线性 无 关 的 行 和 g 个 线性 无 关 的 列 。 下 面 证 明 p= 4。 由 于 
我 们 关心 的 只 是 线性 无 关 的 行 数 和 线性 无 关 的 列 数 ， 故 行 互 换 和 列 互 换 这 两 种 矩阵 的 初 
等 变换 对 问题 的 讨论 没有 任何 影响 。 王 此 ,不 失 一 般 性 ,可 以 假定 矩阵 Amx 的 前 p 行 
线性 无 关 和 前 a 列 线性 无 关 。 即 二 说 , 矩阵 Amen 可 以 分 块 为 


Aman = | Xoxa  Voxeneg |p TREERT 
Zim-p)xa W (m—p)x(n~9) 


4 个 线性 无 关 的 列 


式 中 , 分 块 矩阵 大 ww。 有 p 个 线性 无 关 的 行 和 4 个 线性 无 关 的 列 。 考 察 该 分 块 矩 阵 的 列 
分 抉 形式 X = [zip mg 其 中 ,wii = 1,2,--- ,4 均 为 p 维 列 向 量 。 根据 定理 1.6.1 
知 , E p 维 列 向 量 的 集合 (srta , 2} 中 ,线性 无 关 的 列 数 最 多 等 于 p 即 有 <p. 
JDL, HAIER Xs 的 行 分 块 为 


SUP, apan a, 均 为 1 x 9 TAM. 根据 定理 1.6.1, 在 这 p 个 q 维 行 向 量 的 集合 中 ， 
最 多 有 g 个 线性 无 关 的 行 向 量 , 即 p < g。 RE q< pH psg WHA p= go E 

从 定理 1.6.2 出 发 , 可 以 引出 矩阵 的 秩 的 定义 。 

FEM 1.6.5 HERF Ann 的 秩 定 义 为 该 矩阵 中 线性 无 关 的 行 和 列 的 数目 。 

需要 指出 ， 矩阵 的 秩 只 是 强调 该 矩阵 的 线性 无 关 的 行 数 利 线性 无 关 的 列 数 ， 并 没有 
给 出 这 些 线 性 无 关 的 行 和 列 所 在 位 置 的 任何 信息 。 

根据 秩 的 大 小 , 矩阵 方程 4 en P nxt = Oma 可 分 为 以 下 三 种 类 型 : 
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(1) 适 定 方程 ; € m =n, TH rank(4) = n, MER A 非 奇 异 ， 则 称 矩 阵 方程 
Ag =b 为 适 定 (well-determined) 方程 。 
(2) 欠 定 方程 : 着 m < rank(A)s 即 独立 的 方 积 个 数 小 于 独立 的 术 知 参数 个 数 , WER 
HEDRE Ax =b 为 欠 定 (under-determined) 方程 。 
(3) 超 定 方程 : 若 m > rank(A), 即 独 立 的 方程 个 数 大 于 独立 的 米 知 参数 个 数 , 则 称 
矩阵 方程 As =b 为 超 定 (over-determined) 方程。 
下面 是 术语 “ 适 定 ”、“ 欠 定 ” 和 “ 超 定 ”的 涵义 。 
适 定 的 双 层 涵义 : 方程 组 的 解 基 唯一 的 ; 独立 的 方程 个 数 与 独立 未 知 参数 的 个 数 相 
Fa, 正好 可 以 唯 - 地 确定 该 方程 组 的 解 。 适 定 方程 4z = b ROMER a = 471b H 
欠 定 的 涵义 : 独立 的 方程 个 数 比 独立 的 未 知 参数 的 个 数 少 , 意味 着 方程 个 数 不 足 于 
确定 方程 组 的 唯一 解 。 事实 上 , 这 样 的 方程 组 存在 无 穷 多 组 解 >。 
超 定 的 涵义 : 独立 的 方程 个 数 超过 独立 的 末 知 参数 的 个 数 ， 对 村 确定 方程 组 的 唯一 
解 显得 方程 过 剩 。 因此, 超 定 方程 4z = b 没有 使 得 方程 组 严格 满足 的 精确 解 >。 
根据 定义 1.6.5, 秩 rank(4) = ra 的 矩阵 4 有 ra 个 线性 无 关 的 列 向 量 。 这 ra 个 线 
性 无 关 的 列 向 其 的 所 有 线性 组 合 ， 便 形成 了 一 个 向 量 空 间 , 称 为 矩阵 4 的 列 空间 、4 的 
值 域 (range) 或 4 的 流 形 , 常 记 为 R(A). WI R(A) 具有 维 数 ra。 因 此, 矩阵 的 秩 也 
可 以 利用 矩阵 的 列 空 间 的 维 数 定义 。 
定义 1.6.6 矩阵 Anxn 的 列 空间 R(A) 的 维 数 定义 为 该 矩阵 的 秩 , WE 


ra = dim{R(A)] (1.6.20) 


根据 定义 1.6.6 知 ， 若 矩阵 A 的 秩 为 >a， 则 该 矩阵 的 列 空间 R(A) 是 一 个 ra 维 子 
空间 。 

SRP A 的 秩 的 下 列 叙 述 等 价 ， 每 一 叙述 在 不 同 的 场合 有 用 。 

(1) rank(A) = k: 

(2) 存在 4 的 kk IERE F k 列 组 成 一 线性 无 关 组 ; 

(3) FAA 的 大 行 且 不 多 于 大 行 组 成 - 线性 无 关 组 ; 

(4) 存在 4 A kxk FER EBT IUR, fH A 的 所 有 (b+ 1) x (+1) 

子 矩 阵 都 具有 零 行 列 式 ; 

(5) 列 空间 RA) 的 维 数 等 于 ks 

(6) k=n—dim[Null(A)], 其 中 , Null(A) 表示 矩阵 A 的 零 空 间 。 

下 面 讨论 矩阵 的 秩 的 性 质 。 由 于 这 些 性 质 与 两 个 矩阵 乘积 的 秩 密切 相关 ， 有 必要 先 
HERIR RENER. 

定理 1.6.3 $ r4 = rank(4) 和 rp = rank(B), WREEM AB 的 秋 rag = 
rank(AB) 满足 不 等 式 


ran < min{ra Tp} (1.6.21) 
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证 明 $ AM BARE pxq Ñ gxn BH. DHS ry Sro 这 意味 着 74 < 
min{g,n}o Xİ FIERE A, 假定 p x p KEM P H q xa IERE Q 分 别 是 对 A 的 列 和 行进 行 
PIERRE FEE, FE 

PAQ=C= ly 4 或 PA= le 4 g 


用 号 右 乘 第 二 式 两 边 , 由 于 r4 <min{g,n}, i gxn MRE QUB 可 分 块 为 [se |， 
(g-ra) xm 


„Hn Ogag |En OVP Te ] IEn xn 
ras-[g oje s-o olsu] Eo 


由 于 P 是 一 系列 初等 变换 的 乘积 , 它 不 会 改变 矩阵 AB 的 秩 , 故 


rank( PAB) = rank(AB) = rank mye] gra 


由 于 假定 ry < rp, 所 以 上 式 意 味 着 rank(AB) < min{r4,7p}。 
类 似 地 , 令 rd > rp， 这 意味 着 ry <p 或 rp Sg BERE q x g 初等 变换 第 阵 U 
和 nx n 初等 变换 矩阵 Y 使 得 


UBV =D= ly al 或 BV=U7! iG o] 
用 矩阵 A 左 乘 第 二 式 两 边 , N p x q 矩阵 AUT 可 以 分 块 为 Poe gs Spxigerg)l 使 得 
ABV = AU Py ol = [T pry Spx(q—rg)l fg ol = [Tyxr,, O] 
由 于 Y 大 一 系列 初等 变换 矩阵 的 乘积 ， 它 不 改变 矩阵 AB 的 秩 , 故 
rank(ABV) < rank(AB) = rank[Tpxr,, O] < rp 


由 于 假定 ry rgo 所 以 上 式 意味 着 rank(AB) < min{frars}。 这 就 证 明了 本 定理 。 国 

引 理 1.6.2 mxn ER 4 ER m x m 非 奇 异 矩阵 P REER nxn 非 奇异 窍 阵 
Q, 将 不 改变 A 的 秩 。 

证 明 ”由 于 m x m SER OP 非 奇异 ,， 即 rank(P) = m, i rank(A) < rank(P). > 
M = PA, 则 根据 定理 1.6.3 4 rank(MZ) < rank(4)。 另 一 方面 , 由 4 = POM 及 定 埋 
1.6.3 又 有 rank(A) < rank(M). FÆ, rank(A) = rank{( M) = rank(CP4)。 类 似 地 ， 可 以 
证 明 rank(A) = rank(AQ). a 

特别 地 , 若 p x m SRE P 具有 满 列 秩 , n x g 第 阵 Q 具有 满 行 秩 ,， 即 rank(P) =m 
和 rank(Q) =n, 则 rank(PA) = rank(4) 和 rank(AQ) = rank(4)。 

引 理 1.6.3 rank[A, B] < rank(A) + rank(B). 
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证 明 ` 
rank[A, B] < 矩阵 [4, B] 的 线性 无 关 列 数 
< 矩阵 4 的 线性 无 关 列 数 + 矩阵 B 的 线性 无 关 列 数 
< rank(A) + rank(B) 
部 引 理 得 证 。 图 


Bİ 1.6.4 rank(A + B) < rank[A, B] < rank(A) + rank(B). 
证 明 对 矩阵 A+ B= [A,B] |f| 应 用 定理 1.6.3, 则 有 rank(A + B) < rank[A, B]e 
将 这 一 结果 与 引 理 1.6.3 综合 在 一 起 ,立即 得 到 引 理 1.6.4。 E 
引 理 1.6.5 XF mxn 矩阵 4 Ñ nx g EM B, 秩 不 等 式 rank(4B) > rank(A) + 
rank( B) — 成 立 。 
证 明 $ ra= rank(4), H mxm SEM P Al nx n HE Q RAMOS RE 
me, ate page= [re o Exx] r, |, M a nra M 
A+X =P. TE 根据 引 理 1.6.2 得 
rank(B) = rank(P-'Q7'B) = rank(AB + X B) 
<rank(AB) +rank(X B) ( 引 理 1.6.4) 
<rank(AB) +rank(X) (因为 rank(XB) < rank(X)) 
<rank(AB) +n—ra 


即 有 rank( AB) > rank(A) + rank(#) — no a 
和 矩阵 的 秩 具 有 以 下 性 质 、 等 式 关系 和 不 等 式 关系 。 


1， 秩 的 性 质 

(1) 秩 是 一 个 正 整数 。 

{2) 秩 等 十 或 小 于 矩阵 的 行 数 或 列 数 。 

(3) 4 nxn 矩阵 4 的 秩 等 于 m 时 , 则 4 是 非 奇异 矩阵 , 或 称 4 满 秩 (full rank)。 

(4) 如 果 rank(4 xn) <min{m,n}, WH A EKTIRI (rank deficient)。 一 个 秩 亏 
缺 的 目 方 矩阵 称 为 奇异 矩阵 。 

(5) 车 rank(Amxn) = mm({<m， 则 称 和 矩阵 4 具有 满 行 秩 (full row rank). 

(6) # rank(Amyn) = n (< mm)， 则 称 矩 阵 A 具有 满 列 秩 (full column rank). 

(7) 任何 矩阵 A 左 乘 满 列 秩 矩 阵 或 者 右 乘 满 行 秩 矩 珀 后 ， 撼 阵 4 的 秩 保持 不 变 。 

(8) 当 人 矩阵 的 秩 rank(Amxn) =7 £0 时 , 至 少 存在 一 个 > xy FEE X,., 满 秩 或 
非 奇异 。 邯 是 说 , 矩阵 Anen 可 以 分 块 为 


A =| Xxr Yexn-r) 
mxn [Zoo mxr Wane) xta-r) 


RP, Xx, 非 奇异 。 
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2. 关于 秩 的 等 式 ， 

(1) #Aec™*, 则 rank(A®) = rank(4T) = rank(.A*) = rank( A)» 

(2) Æ Ae C™> Alc #0, MY rank(cA) = rank(A). 

(3) # A e Cmxm 和 Ce C™™ SER, WIFE B e Om 有 
rank(AB) = rank(B) = rank(BC) = rank(ABC). Bik, MBE B 左 乘 与 
(或 ) 石 乘 一 个 韭 奇异 矩阵 后 , B 的 秩 保 持 不 变 。 

(4) MR A,B e C™*e, W| rank(4) = rank(B) 当日 仅 当 存在 井 奇异 矩阵 X € 
Cmxm ALY e CP (EE B= XAY. 

(5) Æ A e cmn, m 


rank(A A") = rank( ATA) — rank(A) 
rank(A A”) = rank(A"A) = rank(A) 
(6) #AcC™™, 则 
rauk(A) =m <=» det(A) 40 > 4 非 奇异 


(7) 车 m xm Hie A 非 奇 异 , 且 BE C™*",C ecm, pec, w 


3 关于 秩 的 不 等 式 

(1) 对 于 任意 m xn EE A 均 有 rank(A) < min{m,n}。 

(2) 若 A, BEC™x", W rank(A + B) < rank(A) + rank(B)。 
(3) #ACC™ Al Bech, IU 


rank(A) + rank(B) — k < rank(AB) < min{rank( A), rank(B)} 


« (4) 如 果 从 任意 矩阵 中 删 去 某 些 行 喇 (或 ) SE, UT ER BT REA TFA 
PERE IER. 


1.7 wt 阵 


除了 1.1 节 介绍 的 矩阵 基本 运算 外 , ER SI BRS. FF 
别 地 , 矩阵 求 逆 引 理 在 信号 处 理 、 系 统 科 学 、 神 经 网 络 、 自 动 控制 等 学 科 中 经 常用 到 。 
1.7.1，” 逆 矩阵 的 定义 与 性 质 


一 个 x n SBR OIE RAE, 若 它 具有 n 个 线性 无 关 的 列 向 量 和 个 线性 无 关 
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MITRE. PAREREA LA MA Be REEL REN: RETRED EE A 称 
为 非 奇 异 的 , FERN FHA ERHAN. SM, CLARY. MR MERCIER, W 
ACUE ERIE. RZ. 一 奇异 矩阵 肯定 不 存在 逆 抵 阵 。 一 个 n x n 的 正方 矩阵 B 
满足 BA= 4 = 了 工时 ,就 称 和 矩阵 B EIER A (WERE, 记 为 A. 

一 个 nxn 手 阵 的 非 奇 异性 的 另外 一 种 常用 表示 形式 为 行列 式 。 下 面 从 行列 式 入 手 ， 
对 矩阵 的 逆 和 矩阵 展 关 讨论 。 

若 一 个 正方 矩阵 A 的 所 有 元 素 oz 分 别 由 它们 的 余子 式 A, 代替, 然后 转 置 ,所 得 
到 的 矩阵 称 为 A 的 伴随 算 阵 (adjoint matrix), id ff adj(4)， 即 有 


an Azn ue Any 
Ag '- A, 
adj(A) = |" 7? P "2 (1.7.1) 
Ai, Aon ut Aun, 


若 行列 式 det(A) #0, 则 矩阵 A 的 递 矩阵 Am? 存在 ,并 及 唯一 。 逆 矩阵 AM! 由 下 
式 给 出 : 


， 
Ain Åm Ann 
例 1.7.1 EPR 
ali gl 


|A| = (6 — 20) = -14 
TERRIERE 
5 
1 


L adj(4) = 


At= 
{Al 


| 
1 
~ 
5 
— 
| 
Ro 
i 
一 一 
Il 
一 一 一 
| 
siw niw 
| 
fe 
mh alo 
uw 


伴随 矩阵 具有 下 面 的 性 质 。 

命题 1.7.1 KER Ann 的 伴随 矩阵 adj(4) 的 转 党 等 于 A 的 转 痪 的 伴随 矩阵 , 好 有 
[adj(4) = adj(A™). 

证 明 根据 伴随 矩阵 的 定义 知 


Ay Aj, ue Am 
An Ag + 
baa = fo? 


Am Ana o Aan, 
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又 因为 
Q eol …， apal Ay Ay o Am 
aaj(AT) = aaj] | te] | fan Ane Am 
tin am o apj) [Am nao Ann 
比较 以 上 两 式 , 立即 有 [adj(A)]T = adj( A7). E 


EEPE A € C"x" 的 道 矩阵 存在 ， 则 称 和 矩阵 4 是 非 奇 异 的 或 可 逆 的 。 关 于 拖 阵 的 非 


AER MME, FIRIR EH] 4; 


(1) 4 ERR 

(2) AT 存在 ; 

(3) rank(A) = n; 

(4) 4 的 行 线性 无 关 ; 

(5) A 的 列 线性 无 关 ; 

(6) det(A) # 0: 

(7) A 的 值 域 的 维 数 是 n: 

(8) A 的 零 空 间 的 维 数 是 0; 

(9) Ax = 对 每 一 个 be Cn 都 是 一 致 方程; 
(10) Aw = 五 对 每 一 个 五 有 唯一 的 解 ， 

(11) Ax = 0 只 有 平凡 解 =0. 

下 面 是 一 个 n x n BEADS SE BT AEE ERE 


nt2 1 1 
i -3 0 0 0 A 
1 1 
-3 1 -3 0 + 0 6 
1 1 
A=] © 73 1 -3w 0 0 (8.7.3) 
1o 1 
0 一 1 -å 
1 0 _1 pte 
Lint 2 2n+2 
[n n-l 2 1 
n-1 n 3 2 
Att : : (1.7.4) 
2 3 n n-1 
Li 2 n-i n 


‘EAT AT ARREA RERA R AIE ERE E, 


nx n ER A RAER A 具有 以 下 性 质 1291249; 
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( AA =44-1 =I. 

(2) AT! 是 唯一 的 。 

(3) 逆 和 矩阵 的 行列 式 等 本 原 矩 阵 行列 式 的 倒数 , ED |4-!| = ar’ 

(4) RR ba 

(5) (ATD =A. 

(6) SHAM BH AM AEREE TERE AT ay Slee, KD (A) = 
(ATE, DH RS AM = (A7) 简 记 之 。 

(7) Æ AM = A, N (ATHY =A, 

(8) (A = (A7) 

(9) 如 果 A A B 都 是 可 逆 的 , 则 


(AB)"'= BA” (1.7.5) 


更 一 般 地 , 有 
(ABC)? = CBA! (1.7.6) 


(10) 车 A = diag{a1,42,… ,am) AMAR, Ww RoE 


Aq! = diag(a71, oz am 
(11) 4% A 非 奇异 ， 则 
AREXE <> 4-1= AT 
AARE <=> A` = A" 
下 面 证 明 性 质 (O~ 性 质 (7) 和 性 质 (9), 其 他 性 质 的 证 明 留 给 读者 做 练习 。 
证 明 ”性质 (1) 的 证 明 ; 假定 ATA = 了 , 并 且 存在 另外 一 个 矩阵 P 满足 AP =I, 
FE, ERWE 4-1 后 , 得 AAP = A`. GAF 4-1 和 = 了 , 故 有 P=A'!。 因 
此 ,有 4-14= 44-1= 工 
性 质 (2) 的 证 明 : $ P EER 4 的 另 一 个 逆 矩 阵 。 在 (1) 的 证 明 中 ， 已 经 证 明 满 足 
AP =I 的 矩阵 P= 4-:。 下 面 证 明 满足 PA =I RERA P =A. E PA=I Ñ 
WAR A, 得 PAA = A, HT AA =I, 故 立即 有 了 忆 =A-1。 因 此, 同时 满足 
PA=AP =I (isi P= Aq, 即 A KÉIERE A 是 唯一 的 。 
性 质 (3) 的 证 明 : 由 于 |4B| = [AIIB] i AJAT = JAA] = W| = 1, RA 
aege 
性 质 (4) 的 证 明 : 短 降 4 存在 间 扼 阵 时 , 其 行列 式 A| #0, HLA | = yr #0 这 
RH, MER AW! 是 非 奇 异 的 。 
性 质 (5) 的 证 明 : 在 ATIA = I WAER (A, AR (A) A=, 即 得 
4= (4-0-1。 
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性 质 (6) 的 证 明 : 对 ATIA = I ETRE, 得 AHAT" = T. 这 表明 , (AT) 
是 矩阵 AM MUERE MA (A5) = (AE, 

性 质 (7) 的 证 明 ; 若 AF = A, W (AF) = (A754 Spy An} = (Ao, 

TER (9) 的 证 明 : 假定 矩阵 AA B 大 两 个 可 道 的 正方 矩阵 。 易 知 


B'A'‘AB=B"B=I 和 ABB UA!=AA'=1 
Rit, B-14 是 矩阵 AB AMER, BY (AB)! = BAT, a 
1.7.2 SEROR MS |B 


引 理 1.7.1 (Sherman-Morrison AR) 4 A 是 一 个 nx 的 可 道 矩阵 , JfH ao My 
是 两 个 nx1 问 量 , 使 得 (Atay) At, W 


Aey A! 
A H-1 ~i 7. 
(At ay") IFA e (1.7.7) 
证 明 由 于 
A+ay! = A(T+A ey) 
故 有 有 
(Atay)! = (F+ Ary AT (1.7.8) 


着 (+B) WË, JH BAL M+ By! =I-B+B -B+ KIARA 
式 (1.7.8) PH (+ 4-1zy3)~1, 立即 有 


(+ Aey" = I- Aey" + (AT ley" - (Aey) +- 
=1- Asy" + Awy A ey" —.-- (1.7.9) 
将 式 (1.7.9) RAS (1.7.8), BR 
(Atay)! = Act Aey" AT + A ry A lrc)y AT — 
= A7! Amy A [ly A g) + (y ATE)? 一 … 


由 矩阵 (2+ Atay") 的 可 逆 性 知 , 标 基 BAe A-1, 从 而 有 


1- (yA te) + (4 一， 了 


“T+ yHA Im 
综合 以 上 两 式 ,立即 得 式 (1.7.7)。 u 
引 理 1.7.1 称 为 矩阵 求 逆 引 理 ， Æ Sherman 与 Morrison [4141415] 于 1949 年 和 1950 


年 得 到 的 。 
矩阵 求 逆 引 理 可 以 推广 为 矩阵 之 和 的 求 逆 公式 : 
(A+UBV) = A`! - A'U B{B + BVA-'IUB) ` BV A~ 
=A - AU (I + BYA'U) BVA" (1.7.10) 
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(A-UV)1=A714A1U—-VAU) VAT (1.7.11) 

这 一 公式 是 Woodbury T 1950 年 得 到 的 84, 也 称 Woodbury 公式 。 1ER I — VATU 
有 时 称 为 容量 矩阵 (capacitance matrix). 

“4U=u, B=b iV =v" It, Woodbury 公式 给 出 结果 

b 

“T+ bv Ae 
eH, 27 b= 1, 则 式 (1.7.12) 简化 为 Sherman 49 Morrison 的 矩阵 求 逆 引 理 公式 (1.7.7). 

事实 上 , 在 Woodbury 得 到 求 道 公式 (1.7.10) 之 前 ，Duncan [139 和 Guttman 296) 就 
已 经 分 别 于 1944 年 科 | 1946 年 得 到 了 下 面 的 求 逆 公 式 : 


(A-UD"'V)?" = A`! + A'U(D-VATU) VAT (1.7.18) 


(A +buv™h t = amt Attu A (1.7.12) 


这 一 公式 也 被 称 为 Duncan-Guttman RKA 186511366), 
除了 Woodbury 公式 之 外 , 矩阵 之 和 的 逆 和 矩 阵 还 有 下 面 的 形式 3, 


(A +UBV)! = A- A (I + UBV A') UBV A! (1.7.14) 
= A` — AUB(I + VA`UB) VA (1.7.15) 
=A- A'UBV(I+ A'UBV) A~ (1.7.16) 
= A! -— A'UBV AI + UBVA™) (1.7.17) 
下 面 是 分 块 和 矩阵 的 几 种 求 逆 公 式 。 


(1) 矩阵 A 可 逆 时 , 为 25) 
K 引 T JA + AT'U(D-VATU)J VA! AUD-VAUO)! 


VD =Í -(D- VAU) VA! (D- VAU)! | 
(1.7.18) 


(2) 矩阵 A 和 D 可 道 时 ， 为 8270.228) 
Iv a = loria opty) ato | (1.7.19) 
(3) 矩阵 4 和 D 可 道 时 ， 为 ns 
EB 9 tera eee | 
或 者 [1 pp.138~139) 


A Ul" fa-up vy? -(V- DUA) 
b 引 = eee ova | (7.21) 

FRU PEASE SL, AES TE) EER SPR I A EE BE 
SPAS). SERRE SAE A, Oa RAS PAA WH 


(1.7.20) 
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特别 地 , 在 自 适应 信号 处 理 和 控制 中 , 基于 矩阵 求 送 引 理 的 递 推 最 小 “ 乘 (RLS) 算法 是 
种 有 效 的 方法 ， 而 分 块 矩 阵 的 求 北 在 推导 斜 投影 矩阵 的 公式 中 起 着 重要 的 作用 ， 详 见 
第 10 章 (投影 分 析 )。 
下 面 介绍 Woodbury 公式 的 两 个 典型 应 用 。 
SJ, 是 一 个 nxn 矩阵, KREBS 1, MAT nxn FM (其 中 , ab) 


a boo b 
bac b 
v=]. : ef = [a= dE, +bJ,] = (a =) (+ G40) (1.7.22) 
bb ao 
故 由 Woodbury 公式 (1.7.10)， 可 求 得 逆 矩 阵 
- 1 b = 1 b 
ve (f+) “ans a- 二 到 | (1.7.28) 


假定 ALU, V 均 为 n xn JEBE, 则 利用 Woodbury 公式 (1.7.11)， 可 以 得 到 求解 矩阵 
方程 (4 - UV)z =b 的 方法 如 下 Do， 

(1) 求解 矩阵 方程 Ay =b 得 到 yo 

(2) 通过 求解 矩阵 方程 Aw, = u, 得 到 tt， 然后 构造 敌阵 W = [pitpa Wnh 

JERI W = AU 的 结果 。 

(3) 构造 矩阵 C = 工 - VW 和 向 量 Vy, 并 求解 线性 方程 Cz = Vy, 得 到 z。 

(4) 矩阵 方程 (4 -UV)z = b RR a = y+ We 给 出 。 

顺便 指出 ， 上 述 方 法 的 所 有 四 个 步骤 都 只 需要 算 阵 的 初等 变换 和 基本 和 运算， 并 不 需 


要 直接 计算 道 矩 阵 。 
最 后 介绍 Hermitian 矩阵 的 求 逆 引 理 。 令 Hermitian EMER A 
Ras = ae ze] (1.7.24) 
F 面 考虑 使 用 Ra 递 推 Ba。 为 此 , 令 
Omer = [it an| (1.7.25) 
TË 
Readnna[e lie eee r] ew 
由 此 可 以 导出 下 面 四 个 方程 式 : 
RnQmn + mdm = Im (1.7.27) 
TE Om + Pma = Om (1.7.28) 
Bn Im + mam = 0m (1.7.29) 


Tham + Pr Om = 1 (1.7.30) 
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Ë Ra TŽ, 则 由 式 (1.7.29) 有 
gm =~ An Ra Tm (1.7.81) 


此 结果 代入 式 (1.7.30) 后 ， 即 有 


1 


"pr ore 


a, 


将 式 (1.7.32) 代入 式 (1.7.31), 又 可 以 求 得 


1 
am = E (1.7.33) 
若 将 式 (1.7.33) HAR (1.7.27), 则 
Qn = Rr} — Rir mg” = R vy Moo lH Pal (1.7.34) 


为 了 简化 式 (1.7.32) ~ 式 (1.7.34, 不 妨 令 
mn [OO ,BO TT = Re, (1.7.35) 


Bra ae rt Roe = pm +rib,, (1.7.36) 


这 样 一 来 , 式 (1.7.32) ~ 式 (1.7.34) BOTTA UR TT A 


将 它 科 代入 式 (1.7.26), 即 得 


1 1 H 
Rola = Qm = [Se 中 + 起 5 [Poe | (1.7.37) 


这 一 由 ROR Re, 的 秩 1 修正 公式 称 为 Hermitian 矩阵 的 分 块 求 北 引 理 B36, 


1.8 ”广义 道 矩阵 


前 书 讨论 了 正方 矩阵 的 逆 矩 阵 。 将 正方 矩阵 的 逆 矩 阵 推广 到 长 方形 矩阵 或 奇异 的 正 
方 矩阵 ,将 得 到 所 谓 的 广义 逆 征 阵 。 广 义 逆 矩阵 的 一 大 应 用 就 是 利用 它 对 线性 最 小 二 乘 
方法 可 作出 统一 的 理论 解释 。 
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1.8.1 Ae SAW 

从 广义 的 角度 讲 ,任何 一 个 矩阵 L AST Ae AEE A SE, Br LEE A 的 
乘积 等 丁 单位 矩阵 I, 即 LA =I, 根据 矩阵 A ASIA, PRAIA EO 存 
TREE: 

(1) 在 某 些 情况 下 , 工 存在 ， 并 且 唯 一 ; 

(2) 在 另 一 些 情况 下 , 工 存在 , 但 不 唯一 ; 

(3) 在 某 些 情况 下 , L 不 存在 。 

例 1.8.1 考虑 以 下 _: 个 矩阵 “ 


2 -2 -i 
4=|11 1-2], A= 
1 0 -1 一 
THERE 4， 存 作 唯 一 矩阵 
-1 -2 5 
Li=|-1 -1 3 
-i -2 4 


不 仅 使 得 LA =I WHER AVL, = Is。 此 时 , ERF E, 实际 就 是 矩阵 A, HIME 


阵 , 有 ZL, = Ay. 
在 矩阵 A, 的 情况 下 , PES -MEPHEG LA, = Ty 如 


了 2 
L,=| 6 iF °], m= 3 he 
0 2 5 


对 矩阵 4s， 没 有 任何 3 x 2 矩阵 使 得 LA4 = I, 但 却 存在 多 个 3 x 2 给 阵 RR， 使 


得 A,R = 五 , 例如 
「 1 1 -1 1 
R=| -1 of, a-| 0 0|，… 


总 结 以 上 讨论 知 , 除了 满足 AAT = ATA = 了 的 逆 和 矩阵 AT 外 , 还 存在 两 种 其 他 
BREE, 它们 只 满足 LA = 了 或 AR=1. 

定义 1.8.1 [3 满足 五 4 = 了, 但 不 满足 AL = 了 的 矩阵 工 称 为 矩阵 A 的 左 逆 矩 
PE (left inverse). 类 似 地 , 满足 AR =I, 但 不 满足 RA = T SREP ERASER A 的 右 逆 矩 
阵 (right inverse)。 

定理 1.8.1 仅 当 mm >n 了 时, 矩阵 A < Cmxn HRA EMRE. 

证 明 Am > n 时 , KORE A 可 以 分 类 为 4= [2], JOH, Be Cm 和 Ce 
Cm-mxn。 令 厂 = [大 ,YY ÑE LA = 了 WH XB+YC=I. Wit, KEER XY 
满足 XB+YC =I, SEM L= [|X Y] RAM A HARRIE. 例如, 若 B 非 奇异 , 则 
RER X =B Aly =o W. 
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MT m <n, MABE A SHIRA [B,C], SERE L SA |) EE L AER 4 的 
A, 则 


x XB XC Lmxm Onzin 
加 Ba=| | = Fee [os vom) | 


YB YC -mxm — F(m—n)xe(m=n) 
即 有 有 
XB = Tm 人 
XC = On (nm) @) 
YB= On-mxm (3) 
YC = Tn-mxtn-m a) 


E B 非 奇异 , WX = B 将 这 -结果 代入 式 (2) XDA C = Onxtn-m)。 但 是 ,这 
样 一 来 , 即 有 YC = Ommam 与 式 (4) AA, BG E 是 矩阵 A HAC EI 
一 假设 矛盾 。 L] 

定理 1.8.2 K5 msni, EE 4 € Cm*" TREAT EE. 

证 明 与 定理 1.8.1 的 证 明 类 似 。 

作为 定理 1.8.1 和 定理 1.8.2 的 特例 ,矩阵 A < Cmxm AREA ARE, KAA 
SSB RE. 显然 , 当 -- 个 正方 矩阵 的 左 逆 短 阵 和 右 逆 矩阵 相等 时 , 这 一 矩阵 古 非 奇异 的 。 内 
此 , EE EA ZEEE, AE, I AA AEREA E KERE. 

如 例 18.1 所 示 ， 对 村 给 定 的 m x n HIE A, Am > n 时 , TEREZA nxm H 
阵 工 使 得 上 5A = I; 而 当 m < rn 时， 则 可 能 有 多 个 nx mE RWWA AR= Im H 
一 个 矩阵 A 的 左 道 和 矩阵 或 者 右 逆 矩 阵 往往 非 唯一。 下 面 考虑 堪 和 右 逆 矩阵 的 唯一 解 。 

考察 m > n 并 且 A 具有 满 列 秩 (rank A = n) 的 情况 。 此 时 , n xn BE AMA 是 可 
逆 的 。 容 易 验 证 

L= (A ajyla® (1.8.1) 


满足 左 逆 矩阵 的 定义 LA =I. KRABI, BRA ABER: (left pseudo 


inverse). 


再 考察 m < n 并 且 A 具有 满 行 秋 (rank A = m) 的 情况 。 此 时 , m x m SEE AA" 
是 可 逆 的 。 EX 

R= AAAs)“ (1.8.2) 

不 难 验证 , 它 满足 右 道 和 矩阵 的 定义 AR = Io XAT REE, 常 称 之 为 


HAERE (right pseudo inverse). 
左 伪 逆 矩阵 与 超 定 方程 的 最 小 -- 乘 解密 切 相关 , 而 石 伪 逆 矩阵 则 与 欠 定 方程 的 最 小 
二 乘 最 小 范 数 解密 切 联系 在 一 起 。 


74 第 1 章 矩阵 与 线性 方程 纪 


1.8.2 ”广义 逆 矩 阵 的 定义 及 性 质 

至 此 ， 我们 从 不 同 的 角度 讨论 了 算 阵 求 逆 的 三 种 情况 : EE. AER RPA 
阵 。 上 面 从 线性 方 穆 组 Ar = y 求解 的 统一 角度 出 发 ， 对手 阵 求 逆 作 更 加 广泛 和 深入 的 
讨论 。 

考虑 m xn BRIERE A, Ek k 可 能 小 于 min{m,n}。 我 们 的 问题 是 : BOG 
在 某 种 合适 意义 下 的 逆 矩 阵 ， 使 得 线性 方程 组 Aw = y 的 解 可 以 用 这 种 逆 和 矩阵 表示 ? 

为 了 回答 上 述 问 题 , 让 我 们 先 来 考虑 两 个 方程 


2Z1 十 Za 一生 


32, +32, =9 


显然 , 若 其 中 一 个 方 种 为 真 , 则 另 一 个 方程 就 不 可 能 为 真 。 就 是 说 , PI a eat 
一 致 。 这 样 的 方程 称 为 非 一 致 方程 (inconsistent equation)。 推 而 广 之 , 一 线性 方程 组 称 为 
非 一 致 方程 , 车 其 中 一 些 方程 为 真 , 而 另 一 些 方程 不 可 能 为 真 。 换言之 , 非 一 致 方程 不 存 
在 使 诛 方程 组 严格 成 立 的 任何 解 。 因此, 为 了 保证 线性 方程 有 解 , 要 求 方程 组 必须 是 一 敏 
方程 。 

粗 路 地 讲 ， 一 个 方程 组 称 为 一 致 方程 (consistent equation)， 若 至 少 存在 一 个 解 能 够 
严格 满足 该 方程 组 。 更 严格 地 , 可 以 引出 一 致 方程 {组 ) 的 下 列 数学 定义 。 

定义 18.209) 线性 方程 hxnaznxl = Ymsi 称 为 一 致 方程 ， 若 矩阵 A 的 行 之 间 
存在 的 线性 关系 也 存在 于 向 量 y 的 对 应 元 素 中 。 

注意 , 这 一 定义 并 没有 要 求 一 致 方程 中 的 矩阵 4 的 某 两 行 或 多 行 之 间 一 定 存在 线性 
关系 ,只 是 说 ; SABRE Ar =y 为 一 致 方程 ， 并 且 和 矩阵 A 的 行 之 闻 存 在 某 种 线性 关系 ， 
则 这 样 一 种 线性 关系 也 必须 存在 于 向 量 y AHALEN. Wu, 在 上 面 的 方程 中 , E 
阵 4 的 第 2 行 是 第 1 行 的 3 倍 , 但 由 于 gy = [4,97 的 第 2 个 元 素 不 是 第 1 个 元 素 的 3 
倍 , 所 以 不 是 一 个 一 致 方程 。 

下 面 的 定理 描述 了 方程 一 致 性 的 重要 性 。 

定理 1.8.3 ”一 线性 方程 组 可 以 求解 , 当 且 仅 当 这 些 方程 为 一 致 方程 。 

证 阴 ” 见 文献 [411, pp.229~230]。 

言 之 , 一 致 方程 可 以 求解 (一 个 解 或 多 个 解 )， 而 非 一 致 方程 不 可 能 有 解 。 

下 面 的 定理 给 出 了 检验 方程 一 致 性 的 一 种 方法 。 

定理 1.8.4 ”线性 方程 Ar = y 是 一 致 的 ， 当 且 仅 当 增 广 矩 阵 [Ay] 的 秩 等 于 和 矩阵 
Amyn 的 秩 , BI rank({A, y)) = rank(4)。 

证 明 P40.P210 令 A = [aaa ;anj, 则 A 的 秩 等 于 列 空间 Spanfal az, aa} 
AEB, 即 


rank(A) = dim (Spanfal, aa，… ,@,}) 
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类 似 地 , WY HERE [A,y] 的 秩 rank([A, y) 等 十 增 /矩阵 的 列 空间 的 维 数 ， 即 
rank([A, y]) = dim (Span{@1, oa， , Gan, Y}) 


另 一 方面 , 由 定理 1.8.3 知 , 当 且 仪 当 线 性 方程 Aw =y 为 一 致 方程 时 , 线性 方程 有 解 (等 
价 于 向 其 gy 是 矩阵 A 的 n 个 列 向 量 的 线性 组 合 }。 就 是 说 , 线性 方程 Aw = gy 为 - 致 方 
BK, HRSA y 是 矩阵 4 的 n 个 列 向 量 的 线性 组 合 , BI 
Span{@1,@2,.… ,am 外 一 Spanfalyaz ,Qn} 

上 式 意味 着 rank([A, y]) = rank(4)。 综 上 所 述 ， 线 性 方程 Aw = y 为 一 致 方程 ， 当 且 仅 
当 rank([A,y]) = rank(4)。 i 

有 了 一 致 方程 的 有 关 知 识 后 ， 就 可 转 入 讨论 线性 方程 组 As = y 的 求解 问题 ， 其 
中 , A 是 mm x HE, 其 秩 任 意 ; 并 且 xz My DMA axl mxi HA. WR man, 
HA TERR. WAH TRAM s= 4 -1y。 一 个 很 自然 的 问题 是 : Em An AA 
为 穆 亏 缺 的 情况 下 ,是 否 存在 一 个 与 r= Aly 相 类 似 的 解 ， 比 如 z = Gy 是 一 致 方程 
Aa = y 的 解 ? 由 于 矩阵 G 起 着 与 道 矩阵 AT 相同 的 作用 , 因此 可 以 称 G 是 4 的 广义 
WHERE (generalized inverse), 或 简称 g 逆 。 丁 是 , 有 上 ARE RF. 

定义 1.8.3 $ 4 是 一 个 m xn 矩阵， 具有 任意 秩 . EE A 的 广义 逆 知 阵 是 - “个 
nxm 矩阵 G, 并 使 得 当 As =y 为 一 致 方程 时 ，z = Gy 是 线性 方程 hz = y 的 解 。 

JERE A BO) GHEE RU BOWER As = 加 之 阅 的 关系 可 以 用 下 面 的 定理 表述 。 这 一 
定理 是 Rao 于 1962 年 得 到 的 Ba1 。 

定理 1.8.5 -HH As =y K y #0 AR e= Gy, MEM AGA = A. 

证 明 令 a; RHE 4 的 第 1 列 。 考 查 方程 4z = aj。 这 一 方程 有 解 p = e 其 
中 , e; 是 仅 第 5 个 元 素 为 1, 其 余 元 素 全 部 为 0 的 基本 向 量 。 HT rank[A,a,] = rank(4)， 
故 根据 定理 1.8.4 知 , 方程 Az = ai 是 一 致 方程 。 因 此 , SHR As = y 为 一 致 方程 , 且 
HR a = Gy， 则 一 致 方程 Aw = oj AR a = Gaj 将 这 一 解 代入 方程 hz =a, 得 
AGa; = aj;。 由 于 这 一 结论 对 矩阵 4 的 所 有 列 向 量 都 成 立 , 故 4G4 = 4。 

反之 , 4 AGA = A, 则 AGAT = Ax. 将 Aw = y RA 4G4z = As, 直接 有 
AGy =y BR A(Gy) = y. 因此 , z= Gy EWE As = y 的 解 。 a 

命题 1.8.1 方程 Az = 0 的 解 与 矩阵 4 的 任意 行 正 交 ， 并且 线性 无 关 。 

证 明 首先 , 方程 Ae = 0 一 定 是 一 致 方程 。 这 是 因为 , 不 论 在 矩阵 4 的 行 之 间 存 
在 何 种 线性 关系 ,这 些 线性 关系 也 一 定 存在 于 零 向 量 0 的 相应 元 素 之 中 。 内 此 , 线性 方 
程 Ae =0 一 定 是 可 解 的 。 然后 , > az 是 矩阵 A 的 任意 一 行 , 并 且 是 方程 Ar = 0 
的 一 个 解 , 则 有 aTa = 0。 这 表明 , 解 a 与 矩阵 4 的 任意 行 正 交 。 由 解 HSE 4 的 
任意 行 之 间 的 正 交 性 知 , 解 云 不 可 能 是 矩阵 A 的 行 向 量 的 线性 组 合 , 即 SH A 的 
行 线性 无 关 。 a 

mxn JER A 的 广义 逆 矩 阵 G 用 符号 4- 表示, WG = AW. PE AT R 
有 下 面 的 两 个 重要 性 质 {383pP.20~21]。 
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引 理 1.8.1 A” FE e AAA = A, 
证 明 (1) > 的 证 明 。 令 y = Ae 其中，z 是 一 个 n x 任意 向 基 ， 则 线性 方程 
Ag = y 一 定 是 一 致 方程 ， 因 为 增 广 矩 阵 [A, y] = [A, Az] 的 秩 与 A 的 秩 相 等 。 因此 , 
VORHER AT 的 存在 意味 着 
A(ATAz) = A(Ay)= Az, Yz > AATA=4 


(2) < 的 证 明 。 假 定 AGA = 4， 下 面 证 明 G REWER 4 M ORERE A. $F 
Ag = y 为 一 致 方程 ， 则 一 定 存在 一 个 解 向 量 w 满足 Aw = y HT AGA = A, & 
AGAw = Aw > AGy = y- 这 说 明 Gy 满足 线性 方程 Ax = 2， 即 Gy 是 线性 方程 
Ag =y 的 一 个 解 向 量 。 即 是 说 ，G =A, L] 

引 理 1.8.2 ”下面 结 论 为 真 ; 

(0) A” FE e H =A A RSH (H H? = H) 和 rank(H) = rank(4)。 

(2) AW FE o> F= AAW ERE ( 即 FP? = F) 和 rank(F) = rank(A). 

证 明 结论 (1) = 的 证 明 。 由 引 理 1.8.1 A 


A IE > AA4- 有 = 和 4 二 A AA“A= AA > H? =H 
利用 矩阵 的 秩 的 性 质 rank(AB) < rank(4) 或 rank(4B) < rank(B), 并 注意 到 五 = A A 
和 A 日 = A4 A= A, BAY 

rank(4) > rank(H) > rank( AH) = rank(A) 
即 有 rank(.4) = rank{H)。 
结论 (1) < 的 证 明 。 BE H = AA RSE, JEH rank(H) = rank(4)。 由 
W=HF 
H(I-H)=0 > A-A(I-H)=0 + A(T- 4-4)=0O > AA-A=A 
类 似 地 , 可 以 证 明 结 论 (2)。 


引 理 1.8.1 利 引 理 1.8.2 DAT) SUED PREN 985.211 , 
定义 1.8.4 mxn HERE A 的 广义 逆 短 阵 赴 一 个 满足 


AA-A=A 


fi n x m HERE AM. 
FEM EBB mxn ME 4 WO) MERI PARES nx m HE A: 
(1) ATA WEGE, B rank(4- 4) = rank(A): 
(2) AAW EREHE, H rank(AA7) = rank(A). 
根据 定义 1.8.4 知 , ROTEL OEE BE ACH A RE ABT CL) GEE 


阵 的 特例 : 
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(1) WERE ATI 满足 44-14 = A, 

(2) ZWE L 满足 ALA =A, 因为 LA = 工 。 自然 地 , 左 伪 逆 算 阵 (AFA A" 
也 满足 定义 1.8.4。 

(3) AUER R 也 满足 ARA = A, 因为 AR = 工 自然 地 , 右 伪 逆 矩阵 4T(AAT)-! 
也 满足 定义 1.8.4。 

HIERE Amen FL PE SIEM 411 非 奇异 , EI r = rank( 有 4), H A 的 分 块 形式 为 


Ay Ay, 
A= [a 2z] (1.8.3) 
BOB, Ago = Ag AA: W SORER AT 由 
一 1 
av = {Au A (1.8.4) 
RIE: 


-4_[4a Av) [Ar O] [Au Az 
aa-a=| OO hn An 


I, ol [an 42] 
An Aaz 


一 [a Ajo 
An An AT Aja 

RA Ay = AnA Ap BR AA A= A, BE AT BEA MYT SORE 
1.8.3 MER Rte 

LENAT. OXER EXSER. R BRAT EOF Ce RO ee 
实际 问题 时 ,必然 会 首先 面临 一 个 问题 : SE —- MERE A, SOPRA SORE? 这 里 
给 出 求 广义 逆 矩 阵 的 一 种 实际 方法 , 它 的 基础 是 矩阵 的 满 秩 分 解 。 

定义 1.8.6 P36,p123 24, AOE re Æ A= FG, EH, PF, 的 秩 为 > ( 满 
列 秩 矩 阵 )， 且 Gan 的 秩 也 为 r ( 满 行 秩 和 矩阵 )， 则 称 A = FG 为 矩阵 A 的 满 秩 分 解 


{full-rank decomposition). 
那么 ， 是 不 是 任意 一 个 撼 阵 都 存在 满 秩 分 解 呢 ? 下 面 的 命题 给 出 了 这 个 问题 的 肯定 
答案 。 
命题 1.8.2 40 一 个 秋 为 > 的 各 xz 矩阵 4 可 以 分 解 为 
A= Ke Lean (1.85) 


式 中 , K AL 分 别 具 有 满 列 秩 和 满 行 秩 。 
证 明 存在 m x m ERRER P 利 nx mn TARER @ 使 得 


I, Ons (nr) ] 


PAQ = 
@ O(n-nxr Olm-r)x(tn-r) 
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I oO 
A=P7 | r irx(n—r) | 一 1 
On -nyxr  Olm—r)x (nr) 2 


ABIERE P 和 Q-? BRN 
-1_ taf 工 -xn 
P [Knees Winxin-r)} 和 Q [| 
T 是 , 有 
a=W] o) [4] = 20 |] = Rn Tr 
由 于 P 是 非 奇异 的 , 所 以 P ATES, MP- 的 列 是 线性 无 关 的 。 特别 地 ， 
FE K 的 r 列 线性 无 关 , 故 有 rank( K) =r BK 具有 满 列 秩 (显然 "< m BAERE K 
的 秩 不 可 能 大 于 它 的 行 数 )。 类 似 地 ,可 以 证 明 L 具有 满 行 秩 。 四 
下 面 归纳 了 秩 为 > 的 矩阵 Aux， 的 满 秩 分 解 算法 296.020, 
算法 1.8.1 ( 短 阵 的 满 秩 分 解 算法 ) 
SRI 利用 行 初等 变换 将 矩阵 4 化 为 阶梯 型 ， 即 
a5 | Fa Bs [ol | 


(m—r} xn. 
BR 2 对 单位 矩阵 执行 道行 初等 变换 ， 得 到 逆 和 矩阵 
Pe 7. By pop 
步骤 3 AAW PO OWED > FMR F 
FRA 书写 满 秩 分 解 结果 A= FC. 
步骤 2 中 的 逆行 初等 变换 如 下 ; 
(1) 第 i 入 和 第 j 行 的 互 换 R, o R; KARRE R > Ro 
(2) 初等 行 变换 oF, 的 逆 变 换 为 aR; 
(3) 初等 行 变换 Ri + aR, 的 逆 变 换 为 R, 一 aRj。 
一 旦 获得 矩阵 Amyn 的 满 秩 分 解 后 , 即 可 根据 下 面 的 引 理 求 出 4 BA SURE AT. 
引 理 1.8.3 [86.5210] HERE AL, 具有 秩 ">， 且 其 满 秩 分 解 为 A = FG, 
P, Fme 为 满 列 秩 ; Gx 为 满 行 秩 , 则 


A`” =GT(FTAGT™) 1 FT (1.8.6) 


是 4 HI UREP. 
证 明 ”首先 注意 到 ,x 和 Gin 分 别 是 满 列 秩 和 满 行 秩 矩 阵 ， 故 r x r 矩阵 PT 
和 GGT 部 是 满 秩 和 矩阵 , 它们 的 逆 矩 阵 (FTF)-! 和 (GGT)! 分 别 存在 。 于 是 , 有 


A` = GFTF)(GG)T FT = GT(GGT)"10F TF) FT 
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利用 这 一 结果 , 容易 验证 
AATA = AG™(FTAG™) FTA 
= FGG"(GG") (FTF) FT FG 
=FG=A 


即 AW 满足 广义 道 矩 阵 的 定义 公式 。 n 

总 结 以 上 讨论 , 即 得 以 下 算法 。 

算法 1.8.2 () 义 道 算 阵 的 计算 ) 

SRI 计算 矩阵 A, 的 满 秩 分 解 A = FG. 

HR2 Ky Ne 4- = GT(FTAGT FT. 

下 面 是 广义 逆 和 矩阵 的 递 推 计算 公式 。 

(1) AE + mxn ihe, u 利 v 分别 是 mx1 和 nx1 向 量 , 则 
_ (ATu)(vT AT) 


(A +w) = Aq Au (1-8.7) 
其 中 , RE vA už -lo 
(2) 分 块 矩 阵 的 广义 道 矩阵 的 计算 公式 (589) 
* AC 
M= eS 引 (1.8.8) 
RH, A = XFX, B= X83X,,C = X! X, #D=B-C"A-C, 则 
Da DD- 
ip] (189) 


(3) 矩阵 之 和 的 广义 逆 矩 阵 的 计算 公式 

车 44-DUBy =UBV (HUBYV 的 列 空间 是 A 的 列 空间 的 子 集 ) 和 UBVAA = 
UBV (LUBY 的 行 空间 是 A 的 行 空间 的 子 集 ), 则 G = 4+UBV H SURE Go 
可 以 有 以 下 求法 : 


GT = A` - AT (A7 + AU BY A`) A-UBVA- (1.8.10) 
Gy = A` -A-U(U +UBV AU) UBV A- (1.8.11) 
Gj = A` ~ ATUB(B + BV AUB) BV A` (1.8.12) 
Gy = A` — ACUBV(V+ VA-UBV)-VA (1.8.13) 
Gj =A- -A-UBVA (A -+A-UBVA-)-A- (1.8.14) 


其 中 ,GF 是 Harville 给 出 的 2), Arh Sx ch Henderson 与 Searle 得 出 3). 
下 面 两 小 节 分 别 讨论 线性 方程 ,xnzwx1 = Yma NOB AEB R 
体 求解 以 及 相对 应 的 广义 逆 矩 阵 的 类 型 。 
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1.8.4 “一致 方程 的 最 小 范 数 解 
举 一 个 简单 的 例子 , 假定 线性 方程 为 
Z1 十 2z72 一 10 (1.8.15) 


这 显然 是 一 个 一 致 方程 。 

如 图 1.8.1 所 示 , 直线 zi 十 2za = 10 上 的 所 有 点 (21,22) 都 是 方程 (1.8.15) 的 解 期 道 
解 。 如 果 希 望 确定 唯 - -的 解 , 就 必须 增加 某 个 约束 条 件 , 求 满足 该 条 件 的 唯一 解 。 作 为 约 
KRI 这 里 要 求 得 到 的 解 = 的 范 数 为 最 小 。 这 样 得 出 的 唯一 解 称 为 最 小 范 数 解 。 由 于 
x 的 范 数 最 小 等 同上 于 向量 s 的 端 各 与 原点 的 距离 最 小 ， 故 最 小 范 数 解 也 称 最 短 距离 解 。 
在 本 例 中 , “与 原点 的 距离 最 短 的 解 ”为 (2,4), ME 1.8.1。 


图 1.8.1 方程 (1.8.15) 的 最 小 范 数 解 


下 面 讨论 一 般 情况 下 线性 方程 Ax = y 的 最 小 范 数 解 。 先 讨论 其 通 解 。 

ER 1.8.6 Snxm HE A E mxn BE ABER ON RM, I 

(1) 齐 次 方程 As = 0 的 一 个 通 解 为 z = (I 一 4-4)z, 其 中 , z 是 nx1 任意 向 量 。 
(2) 非 齐 次 方程 hz = y 为 一 致 方程 的 充分 必要 条 件 是 


AAy=y (1.8.16) 


(3) 非 齐 次 方程 As = y 的 一 个 通 解 为 


g=A-yt(I-A-A)z (1.8.17) 


式 中 , z 为 n x 1 任意 向 量 。 
证 明 (1) 利用 广义 道 矩阵 的 定义 1.8.4， 容易 验证 


4z=4T-A4-4)z=(4-44-4)z=0，Yz 


BI æ= (I ATA) 是 齐 次 方程 As = 0 的 一 个 通 解 。 
(2) 必要 性 由 广义 逆 抵 阵 的 定义 1.8.3 可 立即 得 出 , 充分 性 显然 。 
(3) 利用 (D 和 (2) 的 结论 , 容易 验证 


Ag = AA y+ A(I - A A)z=y+0=Yy, Vz 
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EI a= Ay + (I - A” A)z 是 非 齐 次 方程 4z = y 的 一 个 道 解 。 E 

DTA —A -A Ar = 9， 存在 着 通 解 公式 (1.8.17)， 一 个 令 我 们 感 兴趣 的 问题 

是 : ETES y ERE SORER G 选择 ,使 得 解 Gy 在 所 有 的 解 中 具有 最 小 范 
数 ? 换言之 , WUE UKRE G 存在 的 话 , 我 们 希望 它 满 忠 条 件 

lzl = Gul] (1.8.18) 


如 果 . 上 式 满足 ， 则 称 Gy 为 线性 一 致 方程 Axs = y 的 最 小 范 数 解 (minimum norm solu- 
tion), FF SOKE G ym) TB SOE 
SE Amen 和 向 量 maxl,gmxi* TE (Ax, y) 是 m 阶 向 量 空间 的 内 积 , 记 作 
(Aa. Wine 和 矩阵 Amen TOPE SERENE AX, 表示 ， 定 义 为 将 m 阶 向 其 空间 的 内 积 
等 价 变换 为 n 阶 向 基 的 内 积 的 一 个 且 射 , 即 有 
(AT, Ym = (x, AŽ yn (1.8.19) 
特别 地 , 4 4# = A, 则 称 4 为 白 伴随 矩阵 。 显然 , 白 伴随 矩阵 一 定 是 正方 矩阵 。 
注意 , 这 里 的 件 随 矩阵 与 “ 逆 算 阵 ”- 节 中 的 伴随 算 阵 的 定义 有 所 不 同 。 根据 定义 式 
(1.8.19)， 容 易 证 明 伞 随 矩阵 具有 以 上 性 质 ， 
(1) (A#)# = AL 
(2) (AB)# = B* a*, 
(3) (Ax, By) =0, Va,y 人 A*B =O. 
(4) A® = AT (H A AREP) 或 4# = AP ( 若 A 为 复 矩 阵 )。 
定理 1.8.7 Gy 是 一 下 方程 4z = y 的 最 小 范 数 解 ， SARS 
AGA=A, (GA)*#*=GA (1.8.20) 


证 明 由 定义 18.4 9, E Gy 是 一 致 方程 As = y 的 一 个 解 ， 则 G 必须 是 满足 
AGA = A 的 广义 道 矩 阵 。 这 就 建立 了 式 (1.8.20) 的 第 一 全 条件 。 
下 而 证 明 式 (1.8.20) 的 第 二 个 条 件 。 
由 定理 1.8.5 A, 一 致 方程 Ar = y 的 一 个 通 解 是 z = Gy 十 (I 一 G4)z, 其 由 z 为 
任意 向 量 。 若 Gy 为 最 小 范 数 解 ， 则 
leyils lcy +U-GA)z|, Yz 


||GABl < HGAb + (F-GA)zl, Vb,z 
> (GAb,(I-GA)z)=0, Vb,z 
@ (GA)*(I-GA) =O 
© (GA)* = (GA)*GA 
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现在 证 明 (GA)* = (GA)*#GA, “HARS (GA)* = GA. 车 (GA)* = GA, WAT 
AGA = A, 容易 验 订 (GA)#GA = GAGA = GA = (GA)#。 # (GAP AGA, 则 使 
用 AGA = A, 易 知 

(GA)}#GA=GA > GAGA#GA = GAZGA 


RECIFE. ME, (GA)* ¢ GA 之 假设 不 能 成 立 。 这 就 证 明了 式 (1.8.20) 的 第 
二 个 条 件 。 Ê 

关于 最 小 范 数 解 , 有 以 上 两 点 注释 : 

注释 1 充分 必要 条 件 AGA = A, (GA)* = GA 可 以 等 价 写作 GAAF 一 A#。 

证 了 明 

GAA®* = (GA)* A® = (AGA)* = A# 

其 中 , 分 别 利用 了 条 件 GA = (G_A)*, SERRE HER (AB)*# = BY A* 和 条 件 AGA = 
Ao E 

注释 2 ”最 小 范 数 解 是 唯一 的 ， 虽 然 最 小 范 数 广义 道 矩 阵 G 有 可 能 不 唯一 。 

证 明 令 G 和 G, 是 矩阵 A 的 两 个 不 同 的 广义 道 年 阵 。 由 注释 1 知 G AA* = 
AË i=1,2, RIA 

(Gi-G:)AA* =O & (Gi-G)A4=0 & GA=GA 


由 于 Ae = y 是 一 致 方程 , 有 rank([A,y}) = rank(4)， 故 y 可 以 写作 Ab, 其 中 , b 是 一 
个 非 零 向 量 。 TE 得 

GAb=GAb > Gy= Gy 

即 最 小 范 数 解 龙 唯一 的 。 ] 

特别 地 , 我 们 来 讨论 当 AL, 其 有 满 行 秩 m 时 , 线性 方程 As = y 的 最 小 范 数 解 。 

由 于 ATER, BOM) SEM [A y] 的 秩 与 A 的 秩 相 同 ， 即 线性 方程 As =y 是 一 致 方 

程 。 另 一 方面 , 矩阵 乘积 AA! OT, 故 存 在 右 伪 送 矩阵 AH(4A41)-1。 与 之 对 应 的 解 为 


a? = AN AAR ly (1.8.21) 


下 面 证 明 , 这 一 - 解 就 是 满足 式 (1.8.18) 的 最 小 范 数 解 。 
Ae 是 与 z? 不同 的 任意 解 , 则 
el 三 lee 十 ze- wo? = fell? + æ- 2°? + 2(@?) (e — 2°) (1.8.22) 
ERU. 由 式 1.8.21) 有 
2° = AN(AAB)“l Ag 
及 
(zeojale — x°) = yË (AAP) AJT ~ A" (AAP) A]e 
= y" ({4A") A — (AAĦ) Aje = 0 
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于 是 , 式 (1.8.22) 可 简化 为 
hæ? = z+ — 2°]? 

因 向 量 范 数 |e- a? || 不 可 能 为 负 , 故 由 上 式 得 
zJ? > jj 
即 2? 确实 是 最 小 范 数 解 。 根据 注释 2, 这 一 最 小 范 数 解 是 唯一 的 。 

事实 上 ， 右 伪 道 矩阵 G = AAA 直接 满足 定理 1.8.7 的 两 个 充分 必要 条 件 
AGA = A Ñ (GA)* = GA, 这 是 因为 根据 伴随 矩阵 的 性 质 B# = BY, 有 (GA)# = 
(GA) = ANGE = AH(AAH)-14 = G4。 于 是 , 由 定理 1.8.7 直接 知 , AM(AAY)“ly 是 
一 致 方程 Aa = y 的 最 小 范 数 解 。 
1.8.5 ” 非 一 致 方程 的 最 小 二 乘 解 


考虑 非 一 致 方程 he = y 的 求解 。 由 于 是 非 一 致 方程 , 故 不 存在 严格 满足 方程 的 解 。 
换言之 ， 非 一 致 方程 只 能 够 有 近似 解 。 内 此 ， 我 们 很 白 然 地 希望 寻找 一 个 使 得 方程 两 边 
的 误差 平方 和 为 最 小 的 解 。 这样 一 种 解 称 为 非 一 致 方程 的 最 小 二 乘 解 。 有 具体 说 来 , BH è 
代表 最 小 二 乘 解 ， 则 它 应 该 满足 


Aŝ- yl = inf |As — yl (1.8.23) 


式 中 , inf 表示 函数 的 下 确 界 。 
定理 1.8.8 $ G ERMER, W ê= Gy 是 非 一 致 方程 As = y 的 最 小 一 乘 解 ， 


SERS 


A* AG = A# (1.8.24) 
或 者 等 价 为 
AGA=A, (AG)# = AG (1.8.25) 
证 明 ”由 假设 知 
lAż -yl < lAr- yl, Vary 
RA & = Gy, WA 


4Gy-yll<Ae—yl, Vey 
<||AGy-y+Awl, Vyw=a-Gy 
© (Aw, (AG - Iy) =0, Yy w 
 A*(AG —1) =O (1.8.26) 
分 A#AG = At (1.8.27) 
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xt (1.8.27) PURINA AG A*(AGA) = A* A 对 任意 矩阵 4 RY» 故 AGA = A. 
式 (1.8.27) 两 边 左 乘 矩阵 Gt, 并 利用 伴随 窍 阵 性 质 (AB)* = BY 4#， 则 有 
(AG)* AG = (AG)* 
上 式 成 立 的 充分 必要 条 件 是 (AG)* = AG, 证 明 如 下 : 
4 (AG)* = AG, 则 (AG)#AG = AGAG = AG; $ (AG)* # AG, Wh 
{AG)# AG = AG 4 
AGAG#AG > AG#AG 
结果 了 矛盾 ， 故 在 (AG)*#AG = AG HRR F, (AG 了 AG 之 假设 不 能 成 立 。 血 
关于 非 一 致 方程 的 最 小 二 乘 解 ,有 下 面 的 两 点 注释 : 
JERE 1 非 一 致 方程 的 最 小 二 乘 解 有 可 能 不 是 唯 的 ,但 是 不 同 的 最 小 二 乘 解 得 到 
的 Ag Al Aw -y 是 唯一 的 。 
注释 2 非 一 致 方程 4z = y 的 最 小 二 乘 解 的 通 解 形 式 为 
&=Gy4+ (I-GA)z, 2ft® (1.8.28) 


考虑 非 一 致 方 各 Aw = y (YEE A RAWIRI o JER, HEERE AMA 
非 奇异 。 下 面 证 明 , 解 


a° = (AĦA)!A"y (1.8.29) 


就 是 一 个 最 小 二 乘 解 。 
令 起 任何 其 他 一 个 解 ， 易 知 


|| Aa - yl? = A(z - 2°) + Ax? — yl? 
= ||A(w - 2°) + [A(A" A)T AF — Fly? 
= ||A(w—2°)|)? + NAA AA" 一 Ta 
2[4(z — 2°) [A(AF"A) A" — I mly (1.8.30) 


但 是 最 后 一 个 等 式 的 第 三 项 等 于 等 , 即 


[A(z — #°)#[A(AMA) T AF — Inly 
= (æ — æ°)Ħ[AĦA(AĦA) A" — AMly 
= (x — x°)" (AF AT)y =0 


因此 , 式 (1.8.30) 简化 为 


Aw — yl? = A(s — x°)? + ACA" A) A"y — yl? 
= |A(@— 2°) |? + Ax? — yl? (1.8.31) 
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由 于 A(s- z)? > 0, 故 式 (1.8.31) 给 出 下 列 结果 : 
Ax —yl? > || Aw yl’, Yey 


即 是 说 ，z? 确实 是 年 阵 A 满 列 秩 时 ， 非 一 致 方程 As = y 的 一 个 最 小 二 乘 解 。 

事实 上 , 由 伴随 矩阵 性 质 BY = BY 4 (AG)* = (AG)! = GĦA = A(AAĦ) A" = 
AG, WIZE G = (AA) A" 直接 满足 定理 1.8.8 的 两 个 充分 必要 条 件 AGA = 
A fil (AG)# = 4G。 因 此 , 由 定理 1.8.8 直接 知 ，(48_4)-14H9 是 非 一 致 方程 As = y 
的 最 小 -二 乘 解 。 


1.9 Moore-Penrose 逆 和 矩阵 


在 上 一 节 , 我 们 看 到 : 广义 逆 矩 阵 包 含 了 逆 矩 阵 、 左 逆 矩 阵 和 右 逆 矩阵 在 内 , JF HT 
以 提供 参数 个 数 与 方程 个 数 不 同 时 , 一 致 方程 的 最 小 范 数 解 和 韭 一 致 方程 的 最 小 二 乘 解 。 
然而 ,由 于 最 小 二 乘 解 古 非 唯一 的 , 存在 通 解 形式 , 两 个 自然 会 问 的 问题 是 “是 否 存 在 某 
种 意义 下 的 唯一 解 ?”“ 若 存在 唯一 解 ,那么 广义 逆 和 矩阵 AGA = A 还 能 够 有 效 吗 ?” 前 
一 个 问题 的 回答 是 肯定 的 ,而 后 一 个 问题 的 答案 则 古人 次 定 的 。 换 言 之 , 当 需 要 得 到 非 一 致 
方程 的 唯一 解 时， 需要 将 广义 逆 矩 阵 的 定义 再 作 推广 。 推 广 的 思路 是 ; 只 将 上 一 节 的 广 
SUE MAK AGA = 4 作为 定义 的 条 件 之 一 , 并 且 再 增加 其 他 条 件 , 得 到 另 一 种 
涵义 更 加 广泛 的 广义 逆 和 矩阵。 
1.9.1 Moore-Penrose 送 矩 阵 的 定义 与 性 质 


令 Ps 表示 到 向 量 空间 9 上 的 正 交 投影 , 即 对 任意 向 量 w, 有 Pee 在 空间 5 上 , 而 
z- Pa 与 子 空间 S ER. 对 于 任意 一 个 mxn BM G, > Range(G) 表示 G 的 值 
域 空间 。Moore T- 1935 年 证 明了 222, 矩阵 G B EAER Gt 必须 满足 条 件 


GG? = Praga» GIG = Phange(G") (1.9.1) 


上 述 两 个 条 件 称 为 Moore 条 件 , 满足 Moore 条 件 的 矩阵 Gt 称 为 矩阵 G 的 Moore ii 
阵 。 由 于 这 样 一 种 定义 不 方便 使 用 ,Penrose 于 1955 年 提出 了 定义 广义 道 夭 阵 的 另外 一 
组 条 件 [364] 。 

定义 1.9.1 869 令 A 是 任意 mxn 和 矩阵, BRIE G 是 4 的 广义 逆 矩 阵 , 车 G 满 
是 以 下 四 个 条 件 { 常 称 Moore-Penrose 4&4): 

(1) AGA = A; 

(2) GAG =G; 

(3) AG 为 Hermitian EPF, BI (AG)! = AG; 

(4) GA X Hermitian 矩阵 ， 即 (G4Ji = GA. 
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1956 年 , Radola78l 证 明了 Penrose 的 定义 与 Moore 的 定义 等 价 。 

根据 满足 Moore-Penrose 四 条 件 的 多 少 ,可 以 对 广义 逆 矩 阵 进行 分 类 3; 

O 只 满足 条 件 (1) 和 (2) 的 矩阵 G = Al 称 为 4 MART IGER (reflexive 
generalized inverse); 

© 满足 条 件 (1), (2) 和 (3) 的 矩阵 AT 称 为 A BERE SORER (normalized 
generalized inverse); 

© 满足 条 件 (1), (2) 和 (4) KHER At 称 为 4 HOSE REE (weak generalized 
inverse); 

® 满足 全 部 四 个 条 件 的 矩阵 Ai 称 为 4 AY Moore-Penrose WERE. 

在 有 些 文献 (如 [372], [373]) 中 , ASET VORHER AREN SOFERRE (two-condition 
generalized inverse) 或 gz J” ASEM, MER) SR SHR SEE (three 
condition generalized inverse) 或 者 gs 义 道 撼 阵 。 这 两 种 广义 逆 矩 阵 在 某 些 统计 应 用 中 
有 用 Be), 

注意 , 对 于 只 满足 某 些 条 件 的 广义 逆 矩 阵 , 它 的 秩 与 原 矩 阵 的 秩 不 一 定 相等 。 

EH 1.9.1 KTE SERRE, 下 列 结果 为 真 : 

(1) # AS 是 矩阵 A 的 任意 一 种 广义 道 矩阵 ， 则 

rank(A®) > rank(A) = rank(A® A) = rank( A.A?) 
(2) 秩 rank(A®) = rank(A) 的 一 个 充 要 条 件 是 : As 是 矩阵 A M AR ORERE. 
证 明 参见 文献 [390]。 
从 上 述 四 个 条 件 出 发 , Penrose 推导 出 了 Moore-Penrose ERER KIEA 864, 
(1) (4™)t = (ADE: 
(2) AAA" = AMAat = A"; 
(3) AAH(AB)t = (AB)tAMA = A; 
(4) AAt, AtA, (T 一 A441) 和 (T — ALA) 55 ASE 
容易 验证 , EMAL SPAN Bh) GSE RE MBA Moore-Penrose 逆 矩 阵 的 特例 : 
(1) nxn 正方 非 奇 异 矩 阵 Any 的 逆 矩 阵 4-1 满足 Moore-Penrose HIERE TAT 
四 个 条 件 。 

(2) m x n 矩阵 Amyn (M > n) 的 左 伪 道 矩阵 (4H4)-148 满足 Moore-Penrose i 
和 矩阵 的 全 部 四 个 条 件 。 

(3) mx n 矩阵 Amxn (m < n) 的 石 伪 递 矩阵 4H(44B)-1 也 满足 Moore-Penrose 
逆 矩 阵 的 所 有 四 个 条 件 。 

(4) 满足 A,,x。 = In MAEM xm 是 满足 Moore-Penrose 条 件 
(1), (2), (4) 的 弱 广 义 逆 矩 阵 。 

(5) 满足 AR = 到 的 一 般 右 道 矩 阵 是 满足 Moore-Penrose 条 件 (1), (2),(3) 的 正规 
化 广义 逆 扔 阵 。 

(6) SORER 4- 只 满足 Moore-Penrose 条 件 (1). 
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LÆRERE L, ORERE R A UBER AW 存在 多 值 性 不 同 ，Moore-Penrose id 
和 拖 阵 是 叭 一 定义 的 。 在 一 般 的 文献 中 , 为 了 与 其 他 的 广义 逆 和 矩阵 相 区 别 , 常用 符号 AT E 
JR m xn 和 矩阵 A 的 Moore-Penrose 道 和 矩阵。 又 由 于 Moore-Penrose HERE S T AA 
SUSE BE LEAL, KRIET SHEE (EY Moore-Penrose WERE MIA. AHS 
后 对 Moore-Penrose #50 ta Hik— tit SAR, 而 对 只 满足 AGA = A 定义 的 
POSURE RE, 则 用 符号 AW 表示 ,以 示 区 分 。 

特别 需要 注意 的 是 , 与 (AB)! = BUAT 不 同 ， 一 般 情况 下 , EERE AB 的 
Moore-Penrose 道 矩阵 (ABY 4 BiAi。 例如， 


A=(L0, B=[L1], (4B) =1, Blate ; 


PRE (ABY = B'A 的 充分 必要 条 件 。 

定理 1.9.20 24 和 B 二 使 得 矩阵 乘积 AB 存在 的 任意 矩阵 ， 则 (AB) = 
BY At 的 充分 必要 条 件 为 以 下 之 一 : 

(1) 414BB" 4" = BB" AY 和 BBtANAB = AN 4B; 

(2) AABB" 和 AX ABB? 分 别 是 Hermitian 矩阵 ; 

(3) A ABB AÏ ABB! = BBM ANA, 

(4) A'AB = B(AB)' AB 和 BB? A” = AM AB(AB)! 同时 满足 。 

任意 一 个 m x n HERE A 的 Moore-Penrose 逆 和 矩阵 都 可 以 由 BI 


Al = (AĦA) A” (1.9.2) 


或 者 Deol 
At = 4H(44H) (1.9.3) 


确定 。 将 以 上 公式 代入 定义 1.9.1, 易 知 Al 分 别 满足 Moore-Penrose 逆 短 阵 的 四 个 条 件 。 
综合 以 上 讨论 以 及 文献 [871], [383], [373]，[296]，[290j， 可 以 将 Moore-Penrose WE 
阵 At 具有 的 性 质 汇总 如 下 。 
(1) PRE RE 41 是 唯一 的 。 
(2) ERRER UAE P OERE, RI (AP) = (AE = 
Alt = A™, 
(3) 广义 逆 矩 阵 的 广义 逆 矩 阵 等 于 原 矩阵 , 即 (41)1 = 4。 
(4) He#0. W (eat = Lat, 
(5) 车 DD = diag(di1,dz2,… ,dnn) X n x n WARE, 则 Di = diag(dl, dio 
din) 其 中 , dl, = da' (E ax £0) RE dl, =0 (E da =0). 
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(6) BHEE Omxn 的 广义 道 矩阵 为 n x om FERE 即 有 Obx = Onxme 

(7) HÆ z 的 Moore-Penrose 逆 宅 阵 为 zt = (zce) ta", 

(8) 对 和 矩阵 Ann BR AATZ Im, ATA £ In, AM(AM)t ZT, Al (AFJ AP # Imo 
但 下 列 结果 却 为 真 ; 

@ AAA" = 4 

© ATAAt = AB 

图 AAA” = Al 

@ AĦA'A = AM 

© AAt(Atyk = (AtjH 

© (A)14'4 = (AB 

@ (AN AHAS=A 

AAM( AN = A 

© ABAtHAt = at 

At(At EA" = At 

(9) ERER Amyn 的 广义 逆 矩 阵 都 可 以 由 At = (AM AjtA™ R At = AP(AAP)t 
确定 。 特别 地 , 满 秩 矩 阵 的 广义 逆 和 矩阵 如 下 ; 

O 着 A 列 满 秩 , 则 At = (AFA) A, BRAIRE 4 的 Moore-Penrose WHERE 
退化 为 4 MEERE o 

© #'A 行 满 秩 , 则 At = 4H(44H)-1， 即 满 行 秩 矩 阵 4 的 Moore-Penrose #436 
阵 膛 化 为 4 的 右 伪 逆 矩阵 。 

© # 4 为 非 奇异 的 正方 矩阵 ,， 则 At = 4-!， 即 非 奇 异 矩 阵 A 的 Moore-Penrose 
SERB A 的 逆 矩 阵 。 

(10) 车 4EA = PDP#, tp, PP# = PPM = I, 并 且 AIHER, 则 At = 
PPDiPEA4HE。 
(11) HA=BC, 并 且 B 列 满 秩 , C 行 满 秩 , 则 


At = ctat = CHE(CCH)-L(BHB) BY 


(12) # AT =A, JfH A’ = A, W AT= A 
(13) 车 矩阵 A, 相互 正 交 , M AFA = 0,143, W 


(Ay t+ Ag +++ Am) = AL + Abd + Ah, 


(14) (AAN)t = (ATH AT, 
(15) (AA")1(AA¥) = AAt. 
(16) 虽然 一 般 矩 阵 (ATY # (At), 但 若 AAT = AMA, 则 有 (A™)t = (41)"。 


1.9 Moore-Penrose 逆 和 矩阵 89 


(17) E A A m xn JEP, 则 


[gee Qu] = [Se Oo] 


Opxn Opxa axm Onn 
[oe Ors]! = lo”? Oyxm | 
Oma Amxn Onxp (A nxm 


(18) APP RRP, 有 
rank(At) = rank(A) = rank(A®) = rank(AtA) 
= rank(AA') = rank(AAtA) = rank(AlA Al) 


(19) 广义 逆 矩 阵 AT 和 48 的 行 空间 相同 , 邮 41 的 行 空间 在 AF 的 行 空间 内 , HH 
AF 的 行 空间 也 在 At 的 行 空间 内 。 
(20) 广义 逆 算 阵 AT 和 AF 的 列 空间 相同 , 即 Span(A1) = Span(A®) uf Range(At) = 
Range( A"). 
(21) $ mx n HEME A BORK rank(4) =n, 并 且 At = (ATA) TA" 是 4 AGS SURE 
阵 ( 称 为 左 伪 道 矩阵) 则 
@ 矩阵 4 和 AA! 的 列 空间 相同 。 
© 矩阵 (Im — AAT) 的 列 空间 是 矩 阵 4 的 列 空间 的 正 交 补 。 
® R AAt = 4(4HE4)-14 是 拜 等 矩阵 ， 即 有 (AAT)? = AAT. 
@ ER Im- AAt ERGAB ME Um- AAT? = Im- AAT. 
(22) 4 mx n JERE A 的 秩 rank(A) = m, 并且 At = AĦ( AAP)! 是 A HU SORE 
BE (AAKER), 则 
© PURER At 与 矩阵 ALA 的 列 空间 相同 。 
© 矩阵 (I — ALA) 的 列 空间 是 矩阵 AF 的 列 空间 的 正 交 补 。 
@ 矩阵 Ata = 4H44H)-14 See, 即 有 (4 14)? = AtA, 
© 矩阵 In- A A AE, 即 (I, — ALA)? = In - ATA. 
(23) 若 A 为 mx n BH, BH mx p BE, 则 


t- At t 
anr- | SEG +] 


RH, C=, AANB, 并 且 
D=(I,-C'C)E, + (1, -CtC)B™ (Al) 2 BO, —C'C)| "1 BM(ANA(L,, — BC?) 


(24) HAM BAW mxn A px n HERE, 则 
t 
内 =(Al_-TBAt,T} 


RP, T = Et + (I, — E'B)A'(A)ĦB"K(I, — EE'), H E= BI, — AtA) 
A K= [I+ (I, - BE) BA'(A'! BYU, - Bet), 
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1.9.2 Moore-Penrose 逆 矩 阵 的 计算 

假定 mx n HEE A 的 秩 为 r 其 中 , r < min(m,n)。 上 下 面 介绍 求 Moore-Penrose i 
SOME At 的 出 种 方法 。 

1， 方 程 求解 法 

Penrose 64] ENT SURE RE Al 时 , 提出 了 计算 AT 的 两 步 法 如 下 : 
第 一 步 : 分 别 求解 矩阵 方程 


AAMXH_A (1.9.4) 
A‘ AY = A" (1.9.5) 


得 到 XH 和 YY。 
第 二 步 ; 计算 广义 逆 矩 阵 At = XAY. 
车 矩阵 A 为 Hermitian 矩阵 ， 则 Penrose 的 上 述 方法 可 以 简化 ,因为 以 上 两 个 矩阵 
方程 等 价 为 一 个 矩阵 方程 
AXH LA, HAM aA (1.9.6) 


并 且 Moore-Penrose WHER T Wit AA 
A= XAX", # AML A (1.9.7) 


BR 4 一 般 不 会 是 Hermitian 矩阵 , 但 是 ATA 和 AAY 分 别 是 Hermitian MR, 
总 结 以 上 讨论 , 可 以 得 到 计算 Moore-Penrose 逆 矩 阵 的 两 种 算法 如 下 (90, 
算法 1.9.1 
SR1 计算 矩阵 B= AAT, 
步骤 2 求解 矩阵 方程 Bex" = B 得 到 矩阵 XM, 

33 计算 B 的 Moore-Penrose HHP Bt = (AA) = XBX". 

步骤 4 计算 矩阵 A 的 Moore-Penrose W4 RF AT = AM(AA®)t = AMBt. 

算法 1.9.2 

RI 计算 矩阵 互 = AMA, 

步 芸 ?求解 矩阵 方程 BX" = B 得 到 矩阵 XA, 

步骤 3 计算 B 的 Moore-Penrose WERE Bt = (4H4)f = XBX". 

SHA 计算 矩阵 A 的 Moore-Penrose ish At = (AMa)tAM = B'A", 

HIER Amen COA TAT, WU AAY 的 维 数 比 AMA 的 维 数 小 ， 故 选 

FIDE 1.9.1 可 花费 较 少 的 计算 量 。 反 之 , 若 4 的 行 数 大 于 列 数 , 则 选择 算法 1.9.2。 
例 1.9.1 GERE 
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由 于 其 列 数 人 村 行 数 ， 故 选择 算法 1.9.1。 
(1) 计算 3 x 3 和 矩阵 AAT, 得 
8 -2 14 84 -24 48 
AA = | -2 40], (44)?=| -24 20 5] 
4 04 


(2) 求解 (AAFP X" = AA”, 等 价 于 求解 以 上 三 个 方程 ， 


84 —24 48 ] [zi fr 8 ey 1 2 
-24 20 -8 £| =| -2 = zj = 1 
48 -8 32 | [z3] 4 £3 一 2 


故 
1 4 2 -4 
x= 2 4 -2 
12] -4 -2 7 
{3) 计算 
1 4 2 -4 
(AAF)! = X(AAN) X" = 5 2 4 -2 
-4 -2 7 
(4) 矩阵 4 的 Moore-Penrose 逆 矩 阵 由 
1 0 1 0 0 3 
0 1 1 -2 2 5 
4 2 -4 
1|-1 1 0 1|-2 2 2 
t AHAR ayt = — = 一 一 - 
4=4(4 4 = | 2 -1 1 | 3 iJ- 2 -2 1 
一 1 0 -1 0 0 -3 
1 1 0 6 6 -6 


给 出 。 容 易 验证 ,A1 满足 Moore-Penrose WEERT Ate. 
2. KL 分 解法 


SEF PRD AR eB 1.8.2 给 出 了 Moore Penrose 逆 撼 阵 的 一 种 计算 方法 , 因为 
容易 验证 , 车 4 = KL EM A, 的 满 秩 分 解 ， 则 


G = LIKVAL)-IKY (1.9.8) 
( 


满足 定义 19.1 中 的 四 个 条 件 , 故 G 是 Amxn 的 Moore-Penrose ÝE. 


92 第 工 章 矩阵 与 线性 方程 组 


3， 递 推 法 

对 矩阵 Amyn MIAT k SEITI Ar = (A, an, 其中, ak 是 矩阵 4 的 第 大 列 。 于 
是 ,分 块 矩阵 Ap 的 Moore-Penrose WERF Al 可 以 由 Al, AREA. MAREE k =n 
时 ， 即 获得 矩阵 A 的 Moore-Penrose HIRE 41。 这 样 一 种 列 递 推 的 算法 是 Greville 于 
1960 年 提出 的 299), 

算法 1.9.3 (K Moore-Penrose 逆 和 矩阵 的 列 递 推 贷 法 ) 

初始 值 Al =al = (ata) a! 

递 推 令 大 = 2,3, n 进行 以 下 计算 : 


d, = Af 10r 
pp = [OTE dk Ah dpd, # -1 
(ay — Ayidy)?, did, = —1 


+t 
Al = (A, dub] 

ERR aE: JW) EN TPE, HEMER 4 的 行 比 列 少 的 时 候 , 为 了 减 
少 递 推 次 数 ， 宜 先 使 用 列 递 推算 法 求 出 4F 的 Moore-Penrose WHIM (AB)! = AM, 再 
利用 At = (AME 之 关系 得 到 At, 

例 1.9.2 用 算法 1.9.3 求 矩阵 


的 Moore-Penrose 逆 和 矩阵。 
解 (1) e A, =[A, a], 其 


H 


> 
yi 
8 
ll 
上 
woke 
oer 
i=) 
$ 
i] 
x 
| 
-Le 
oem 


则 有 


(2) dy = Ala, =0。 
(3) by = (ay — A,da)t = af = $10, 1,-1,1]" 
全 计算 
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(8) by = (as — Aada) = 4[-1,0,1, 1)". 
(7) 最 后 , 得 到 A 的 Moore-Penrose HEN 

A= [ae] = 工 3 +t 3 

ba 213 0 33 
4. ERR 
BAERE Amyn 的 秩 为 r。 
算法 1.9.4 OR Moore-Penrose 逆 矩 阵 的 迹 方法 ) [369 
SRL 计算 B= AAT。 
步骤 2 OC =I 
FR3 计算 
Ci = Fr(CiB)I- CiB, i=1,2,.. ,rl 

SRA 计算 


r 
A= Tee" 
注意 , CuB =O, tr(C,B) £0. 

例 1.9.3 使 用 算法 1.9.4 求 例 1.9.2 的 矩阵 A 的 Moore-Penrose 逆 矩 阵 。 


解 易 知 rank(A) = 3。 


(1) 计算 
3 0 1 
B=A™A | 3 2] 
1 -2 7 
(2) 令 
100 
ce,=|0 10 
001 
(3) 计算 
10 0 -1 
C,=t(C\ByI-C,B=| 0 10 2 
-1 2 6 
(4) 计 算 


1 17 -2 -3 
C, =3t(C2B)I -CB =| -2 20 6 


(5) 4ER 4 的 Moore-Penrose IHE 


T 20 -16 -4 12 5 -4 -1 3 
at = 303A JE 16 -8 a|- 4 -2 | 


“CAT | 2 o 2 wp] Bl o 33 
与 例 1.9.2 使 用 算法 1.9.3 求 得 的 结果 相同 。 FARE At 满足 Moore-Penrose RERI 
四 个 定义 条 件 。 
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1.9.3” 非 一 致 方程 的 最 小 范 数 最 小 二 乘 解 

1.8.4 节 介 绍 了 一 致 方程 he = y 的 最 小 范 数 解 , 1.8.5 节 又 讨论 了 非 一 致 方程 4x = y 
的 最 小 二 乘 解 。 注 意 , 最 小 二 乘 解 不 是 唯一 的 。 现 在 讨论 如 何 适当 选择 一 个 | HE, 
以 便 存 最 小 二 乘 解 中 获得 一 个 具有 最 小 范 数 的 解 。 这 样 一 种 解 称 为 非 一 致 方程 Ar = y 
的 最 小 范 数 最 小 二 乘 解 (minimum norm least squares solution)， 也 称 半 范 数 (seminorm) 
最 小 一 乘 解 。 上 上 面 介绍 非 一 致 方程 的 最 小 范 数 最 小 二 乘 解 的 有 关 理 论 [Ss3,PP.51~55]。 

定义 1.9.2 ”对 于 非 一 致 方程 4wxnznxi = Ym 矩阵 G 称 为 4 的 最 小 范 数 最 小 
一 乘 | 义 逆 矩 阵 , 车 G 满足 条 件 

[Gulla < in Y & € {£ : Aê- yn < Az- yn Y y E RT,z E R°} — (1.9.9) 
RH, 上 .小 和 liim PRE R* 和 R” 空间 的 范 数 ( 半 范 数 ): 花 括 号 {} 表示 全 是非 
一 致 方程 Az = y 的 最 小 二 乘 解 ， 而 Gul, < lel, 表示 Gy 是 在 所 有 的 最 小 二 乘 解 中 


县 有 最 小 范 数 的 那个 解 。 
定理 1.9.3 MPEG 使 得 Gy 起 非 一 致 方程 Ax = y 的 最 小 范 数 最 小 二 乘 解 , 当 且 


仅 当 G 满足 条 件 
AGA=A, (AG)*=AG, GAG=G, (GA)*=GA (1.9.10) 
sth, 4# 是 A MERER. 
证 明 ”由 定理 1.8.8 知 , Gy 是 非 一 致 方程 As = y 的 最 小 一 乘 解 , BHM AGA = 
A, (AG)* = AG, 即 式 (1.9.10) 的 前 两 个 条 件 得 证 。 又 由 式 (1.8.28) 知 , 非 一 致 方程 的 最 
小 二 乘 解 的 通 解 为 Gy + (I- GA4)z。 丁 是 , 有 
IGyll < Gy + (IT ~ GA)z), Yy z 
e (Gyu, (I — GA)z)=0, Vy,z 
& Gt(T-GA)=0 
< Gt=GtGA 
下 面 证 明 
Gt = G#GA © GAG=G, (GA)#=GA 
< 的 证 明 : 4% GAG = G fl (GA)*# = GA, W 


(GA)*G=GAG=G = |(GA)*G]* =G* = GËGA=G* 


= 的 证 明 ; 易 知 


GË -GHGA = GHG = GHGAG = G=GAG 
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和 
G* =G*GA = A*G# = 4#GAGA 
> (GA)* =(GA)PFGA 
> (GA)# =GA 
本 定理 得 证 。 图 


利用 伴随 矩阵 的 性 质 B* = BY B45, 定理 1.9.3 中 的 第 二 个 条 件 (AG) = AG E 
(AG)! = 4G, 第 四 个 条 件 (GA)* = GA 即 (GA)! = GA. 因此 , 定理 1.9.3 也 可 以 等 
NERA: 矩阵 G 使 得 Gy 是 非 一 致 方程 4z = y 的 最 小 范 数 最 小 二 乘 解 , 当 莫 仅 当 G 
是 A 的 Moore-Penrose WERE. 


1.9.4 广义 逆 和 矩阵 的 阶 数 递 推 计算 


在 系统 办 识 中 ， 一 个 时 间 序 列 通常 表示 成 一 个 自 回归 - 移动 平均 (ARMA) 模型 的 
输出 。 然 而 ， 在 许多 实际 的 情况 下，ARMA(p,g) 过 程 的 阶 数 (p,q) 是 未 知 的 ， 因 此 系统 
认识 需要 估计 对 应 于 不 同 可 能 阶 次 的 ARMA 模型 的 AR 和 MA 参数 ， 并 确定 最 优 阶 数 
{p,g)。 这 说 明 ，- -种 阶 数 递 推 的 系统 辨识 方法 是 非常 有 吸引 力 的 。 下 面 介绍 本 书 作者 等 
人 提出 的 左 、 右 盆 逆 答 阵 的 阶 数 递 推 计算 方法 51911503, 


1. 左 伪 北 短 阵 的 阶 数 递 推 19), (503] 
考虑 nx m REF, 并 设 Ft = (Fe) Oe 是 Fan BEONE. 
定理 1.9.4 4 


Fr = (Fai fl (1.9.11) 


RP, fm 是 矩阵 Fn 的 第 m 列 ， 且 rank(F,,) = m， 则 计算 FL 的 递 推 公式 由 下 式 给 
出 : 


+ _ pt - 
r Pirae] (1.9.12) 
式 中 
em = Un — Fina Ph fn (1.9.13) 
Ay} = [flenl? (1.9.14) 
且 初 始 值 为 
F} = FESES) (1.9.15) 


证 明 BERE Fn 的 分 块 形式 , 我 们 有 


FaF ma Fante 


Fir = 
mo Marn fafm 
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令 
x Y 


rar.) = w] 
HEE EN, WERE 
FaF m1 Fte E x] r 
FhFn Safn |Z WI ™ 
上 式 即 是 
FÈ Ep XAFI fn Ena 
FEF yi¥ + FU afna W0 
SEP maX + Fas nZ =O 
PRB mY + Ff W =1 


LURE PERGI AI 


X = [Fh Fn] ma — Foi 2) 
Y= -Fl fmin 

Z= -fa m) AR 

W = [SaUn Ema Eh) = AR 


根据 左 伪 逆 矩 阵 的 定义 ,得 到 


pt -[% >] Faa |] [XFS TI 
”2 w| 下 ZF 1 + Wim 
X,Y, Z,W RAER, 立即 得 到 式 (1.9.12)。 E 


2 AARE A 51 


考虑 矩阵 Fn € Cnxmy n < m。 
定理 1.9.5 PF, Emi fm) MEDEE Fi, = FEF a Fa) 具有 以 下 
递 推 公式 : 


mm 


t t 
F}, = [r= — AmFm_1fmem (1.9.16) 


RP, cH = fU,- Fina Phi) Om =O fens 递 推 的 初始 值 为 Fl = SESE) 
证 明 与 定理 1.9.3 的 证 明 完全 类 似 , 略 。 C] 


1.9.5” 超 定 二 维 超越 方程 的 求解 


作为 广义 逆 和 矩阵 的 一 个 重要 应 用 ,我 们 来 考查 二 维 信号 处 理 中 的 一 个 基本 问题 ， 辩 
识 一 维 实 自 回归 - 移动 平均 (ARMA) 模型 的 移动 平均 (MA) 参数 。 
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令 ARMA (Pr, Pa; 11192) 模型 为 


Pt Po a 92 

入 》 opzlm in-i) => 》 ben in i) {1.9.17) 

i=0 j=0 i=0 j=0 
不 失 一 般 性 , 假定 ao = Lay 和 pie S Po» 月 不 可 观测 的 实 输入 激励 eln, n) 为 二 维 正 
SERE, KEAT, 方差 等 于 o. E ARMA 过 程 {z(n,n2)} 的 功率 谱 密 度 由 
式 给 出 : 


Ble, 29) Bi", 23') 2 


Piw w) = L (1.9.18) 
HSR T Alez Al a) dp cols yoa 
式 中 
Py P2 a cy . 
Alay 22) = > > au 可 二， Blam) = 5 Joyda 
i=0 j=0 i=0 3=0 


注意 , 多 项 式 Ble, 2) Bler?, 25) 中 的 ckap Al zr hay” 项 的 系数 相同 , ofeg™ Al ap hop 
的 系数 相同 , 故 总 可 以 将 式 (1.9.18) 的 分 子 写作 


Bla1, za) Bey, zy "Jo? = Clay, %) + Dm, 29') + Day's) + Clq zy") (1.9.19) 


式 中 
a % a h 


Clara) => D cyd, Dlg) =o Dody’ 


i=0 j=0 i=0 j=0 


比较 式 (1.9.19) 两 边 相同 知 次 项 的 系数 ， 立 即 得 


2% a 


o 
w= 7 DODU (1.9.20) 
i=0 j=0 
a ia 
Chm = 7 > 》 bybirjim: k=0,1, Mm=0,1,- g, (km) # (0,0) 
i=0 j=0 
(1.9.21) 
a aa 
dim = 07 > Yo bigbi-ngems k=l2, Gs m= Lg (1.9.22) 
i=0 j=0 


上 述 方程 称 为 超 定 一 维 超越 方 称 。 二 维 ARMA 模型 的 MA 参数 辨识 问题 的 提 法 是 : 已 
知 一 维 MA 谱 参数 Cem All dym (这 些 参数 的 计算 方法 详 见 文献 [505]), 求解 超 定 二 维 超 
越 方程 式 (1.9.20) ~ 式 (1.9.21)， 即 得 到 二 维 MA 参数 bjo 
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为 了 求解 超 定 二 维 超越 方程 式 (1.9.20) ~ 式 (1.9.22), 定义 估计 误差 


Kei ga 
foo =}, > 的 一 2coo (1.9.23) 
i=0 j=0 
ak gam 
fam = 5 > bi jbitk jtm 一 Ekm 
i=0 j=0 
k=0,1, ,9 ™=0,1,--+ ga, (k, m) # (0,0) (1.9.24) 
h-E nom 
二 mm = 5 Z bijbipk jtm 7 dim 
i=0 j=0 
k=1,2, g m=, 2 gh (1.9.25) 


w 
F = Woo ofaa fatigan fag tal” 
区 
则 梯度 矩阵 为 
Ofo.o Ofoo foo ð foo 
Oo, bp 0, oa a, az 
fay 4g fa Fed Fea 
of Doe Bo, Ba, Baa 
= 
ab fy +44 +1 fay Hay + fa tig +h OF tLegt1 
boo By, Bao Obs an 
fog, 20 9fe9, 20 fra, tay fra, 24 
boo Do Ba, 0 Baa | 
(1.9.26) 
FE RE 
bio beat A 
b, see b; 0 
B| 0 2 . (1.9.27) 
biga 0 0 
bio bia bign 
c= fo (1.9.28) 
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和 
0 bo b Bigg 
As 0 0 bio X haaa (1.9.29) 
0 0 0 . bio 
bia + big-1 big O 
a- ha = Piar 0 i (1.9.30) 
hy Do 0 0 


Bo B,-1 By, Bo By Ba 
B, B} o o By -i 
By o o 0 o ~ Bo 
F= f|----------------5 二 |----- i (1.9.31) 
Av - Ag O O Ag - Aga 
Ag Oo Oo o o 4—2 
A 0 ol Loo ay | 
HE OK, 我 们 好 可 运用 Newton-Raphson 算法 求解 超 定 的 二 维 超越 方程 式 (1.9.20)~ 
式 (1.9.22)。 着 第 i 步 选 代 估计 的 MA 参数 向 量 记 为 59， 则 第 +1) 步 的 估计 OY 由 


下 式 给 出 ， 
at) oO ty (1.9.32) 


sth, Ft 是 矩阵 F M SORE 

算法 1.9.5 (二 维 MA 参数 估计 ) 5 

FHL WAAL boo = yZ Hl biy =0, (ij) # (0,0) 

HH 2 利用 式 (1.9.23) ~ 式 (1.9.25) 计算 拟 合 误差 fem 然后 利用 式 (1.9.31) 构造 
矩阵 Fo 

步骤 3 根据 式 (1.9.32) 更 新 一 维 MA gaai ott, 

步 又 4 返回 步骤 2， 并 重复 上 述 步骤 , 直至 所 有 MA 参数 估计 什 brm BERAE. 
例如 , 4 


ag 


y | $0.05 (1.9.33) ` 
km 


对 所 有 = 0,1,---,q, M=0,1,-- 9, 成 立时 , 即 认可 参数 估计 已 经 收敛 。 
下 节 讨论 两 个 矩阵 之 间 的 特殊 求 和 以 及 特殊 乘积 。 
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1.10 Hadamard 积 与 Kronecker 积 


先 讨论 两 个 矩阵 之 间 的 特殊 求 和 。 
1.10.1 ZERERA 


定义 1.10.19 mxm BMRA Sa xn EB MBA ASB, 它 是 一 个 
(m+n) x (m+n) ER, 定义 为 


A Onxn 
soon lof, s] 


o (1.10.1) 


nxm 


需要 注意 ， 两 个 矩阵 的 直 和 不 是 两 个 矩阵 元 素 之 间 的 任何 求 和 运算 ， 只 是 一 种 形式 
上 的 求 和 符号 ,其 真实 涨 义 是 将 两 个 矩阵 按照 对 角 线 位 置 堆放 ,直接 组 合成 一 个 更 大 维 
数 的 矩阵 。 类 似 地 , 还 可 以 定义 多 个 矩阵 的 直 和 ,如 0 


Ao 


N-1 A, 
B=@Q4,=4,64,6+-@Ay1 = 


(1.10.2) 
0 


© Anes 
根据 定义 , 容易 证 明和 矩阵 的 直 和 具有 以 下 性 质 Pd[asl。 
(1) He WHR, We (4A@B)=cA@cB。 
(2) # AZB, WASBFBOA. 
(3) EMH MIR, HE, RHR SRE: 
(A@B)*=A' eB 
(A@B)" = A*@B™ 
(A@B) =A" BY 
(AeB) =A OB, ABH 
(4) #A BH mxm HE, HC, Dž nx nE, 则 
(A+ B)@(C+D)=(A@C)+(BOD) 
{A@® C)(B @ D) = AB @ CD 
(5) 车 A,B,C 分 别 是 mxm, nxn, px p HER, 则 


4B(BBCc=(4eB)6C=ABBeBC 
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(6) 矩阵 直 和 的 迹 、 秩 、 行列 式 : 


(7) E A,B ABA mxm, nxn IES, N AGB 是 (m+n) x (m+n) 正 交 
ER. 


1.10.2 Hadamard 积 


现在 考虑 两 个 矩阵 之 间 的 喜 接 乘积 。 
定义 1.10.2 mxn IERE A = [a] 5 mx n ERE B = fb) 的 Hadamard 积 记 作 
AOB, 它 仍然 是 一 个 m x n 和 矩阵， 定义 为 


AOB = [abi] (1.10.3) 


Hadamard 积 也 称 Schur HIRAM WILKIE (elementwise product). 矩阵 Hadamard 
积 的 一 个 主要 结果 是 下 面 的 Hadamard 积 定理 0224, 

定理 1.10.1 4 mxm HM A,B 是 正定 (或 半 正 定 ) 的 , 则 它们 的 Hadamard 积 
AOB 也 是 正定 (或 半 正 定 ) 的 。 

证 明 GER AR BURIED WEN A = S74 uel, B= Ag teed so 
“GORE A R B 者 是 半 正 定 的 并 县 rank(A) =p Ñ rank(B) =q Rt, HF Ag, = 0, i= 
p+ipt2,-.m Al Ag, =Oi=g+1gt2,-,m MAA BRIT Mm 


A= ooh tv ve +... +v,08 
B= ww + ww +--+ wwe 
AP, v= Muso w= Aiu 于 是 


g 


P 4 P q p 
AOB=)3~ J wwf) o (ww) = I; owe 9 w)" = SOD ugu 
i=1 j=1 i=l j=l i=1 j=1 


RP, uj = v; Oow ERRER, AOB 是 秩 1 半 正 定 矩阵 ujug 之 和 , MA AOB th 
是 举 正定 的 。 

下 面 证 明 当 4 和 B 都 是 正定 第 阵 时 , Hadamard 积 AO B 也 是 正定 的 。 此 时 , p= 
g = m, ABA v, (i= 1,2,… ,Pp) 和 wi (i = 1,2,… ,g) 都 是 复 空间 Cm 的 正 交 基 向 量 。 
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使 用 反 证 法 , 假设 AOB 为 奇异 矩阵 。 TE, 存在 某 个 非 零 向 量 e 使 得 (Ao Bla =0. 
前 式 两 边 同时 左 乘 向 关 oo, 即 得 


m mom 
ye su)r = 3 D eu; = 


il j= 


a(Ao Bye 


ive 


易 知 每 一 项 都 必须 等 于 零 ， 即 


[e wy? = le (vi Ow)? = (eo vf wl =0, vij 


由 于 向 量 Hadamard R 2 © of 与 所 有 正 交 其 向 量 wwr wn 的 内 积 的 模 都 等 于 零 ， 
Kh Ov; =0,i=1,2, m. 注意 到 Hadamard 积 ao of 是 两 个 向 量 的 对 应 元 素 之 积 ， 
所 以 Ov = 0,i = 1,2,.…,m 意味 着 向 量 s 的 所 有 元 素 必定 为 零 , 即 向 量 z = 0。 这 
与 假设 相 矛 盾 , 由 此 知 Hadamard 积 和 所 吾 ，- 定 起 非 奇 异 矩 阵 即 正定 矩阵 。 7 

推论 1.10.1 (Fejer EHP 4 A 是 -- 个 m xm FEE, 则 4 OKIE ESE, H 
仅 当 


m 
D aghj 2 0 
j=l 


Ms 


对 所 有 m x m IEEE B 成 立 。 
BUGS NESE 7 AEP GY Hadamard 积 与 迹 之 间 的 关系 296.048), 
EE 1.10.2 令 A,B,C 为 mxn HME, HH A= [LL 1? 为 nx1 求 和 向 


量 , D = diag(d1,dz,… ,dm), 其 中 , di = >》 ais, 则 
气 


tr (4z(B © o) =tr (at @ BTC) (1.10.4) 


PAT(BOC) = t(BTDC) (1.10.5) 


证 明 注意 到 ATB OC) M (ATO BC 具有 相同 的 对 角 元 素 , B 


[AT(B © OC) = £ aribricri = [(A7 © B7)C]a 
k=t 


这 就 证 明了 式 (1.10.4). HT 


non m nom 
1TAT(BOO1= Y Y ouiucn = DO D 下 picu = tr(BTDC) 
i=] k=l 


i=] j=1 k=1 


即 式 (1.10.5) 得 证 。 E 


定理 1.10.3 $ A,B 为 nxn 正方 矩阵 , 并 且 1= [1,1,… ,1]T 为 nx1l 求 和 向 量 。 
假定 M 是 一 个 nxn HAERE M = diag(apo yao) M m= M1 为 nx1 fad, 
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则 有 
tr(AMBTM) =m™(Ao B)m (1.10.6) 
tr(AB™) =17(AOB)1L (1.10.7) 
MA© B™M = M(A6 BM (1.10.8) 


证 明 根据 迹 的 定义 , 有 


tr(AM.B™M) = YAMBTM] = >》 》 Harryaib = "(AO Bm 


a1 isl j=1 
此 即 式 (1.10.6). 3È (1.10.7) 是 式 (1.10.6) 中 取 M = 工 的 特例 。 直 接 计算 给 二 
[MA © BTM]; = [MA]; BTM]; = (mia )(0;4) 
= pp [A © Bly = [M(4 © BTM), 
式 (1.10.8) 得 证 。 
下 面 汇 总 了 Hadamard 积 的 性 质 Bee 。 
(1) 著 A,B SY m xn EE, 则 
AOQB=BOA 
(40B) = ATO BT 
(40B)! = AMo BH 
{AO By =A*oB* 


(2) 任何 一 个 m x n HEP A 与 mxn BEE Onen 的 Hadamard HEF mxn F 
矩阵 , 即 AO Omen = Omun © A = Oman 


(3) He 为 常数 , 则 
c (40 B) = (cA)O B = AO (cB) 


(4) FEE 4nxm = [aa] 与 单位 矩阵 In 的 Hadamard 积 为 m x m IAHR, BD 
AOL, = Em © A= diag(A)} = diag(a;1, 492,°-+ ,amm) 
(8) # A,B,C, D 均 为 mx n SER, 则 


AO(BOC)=(AOB)OC=AOBOC 
(AL B)OC=AOCHBOC 
(A+ B)O(C+D)=AOC+AOD+BOC+BOD 


(6) #7 A,C 为 mxm SEBE. 并 且 B,D A nxn SRE, I 


(ASB) O(CED)=(AoC)e(BoD) 
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(7) Æ A,B,C 为 m xn EB, WU 
tr (a™B @€)) =r ((A7 0 80) 
(8) 车 A, B,D 为 m x m HE, Ml 
DAHMER => (DA)O(BD)= D(A©B)D 


(9) 4 m x m SEM A, B 是 正定 (REEE) 的 , 则 它们 的 Hadamard # AOB th 
EEE (或 六 正定 ) 的 。 
现在 举 一 个 例子 说 明 Hadamard 积 的 应 用 [5251。 令 观测 数据 模型 由 


=A, 天 12 (1.10.9) 


给 出 , 其 中 , zk 和 si 分 别 是 天 时 刻 的 mm 维 观测 向 量 和 n 维 源 信号 向 量 ，4 是 表示 信和 号 
线性 混合 状况 的 矩阵 ， 称 为 混合 矩阵 。 现 在 ,希望 自 适 应 更 新 权 惩 阵 We 使 得 


Yk = Wyo, (1.10.10) 


是 信号 向 量 sk 的 估计 。 这 个 问题 称 为 盲 信号 分 离 问 题 。 
育 信 号 分 离 有 三 种 典型 的 最 小 均 方 (LMS) 型 白 适 应 算法 : 自然 梯度 算法 1s, EASI 
算法 [al 和 选 代 求 逆 算法 Rod 。 这 三 类 算法 更 新 权 佐 阵 的 公式 可 以 统一 写作 


Wri = Wit mG WE (1.10.11) 


不 同 的 算法 体现 在 非 线性 函数 Giu) KEAT. RE, m 称 为 学 习 步 长 或 者 学 习 速 
率 , 它 的 选择 决定 自 适应 算法 的 收敛 速率 和 信号 跟踪 性 能 。 

当 学 习 速率 mw 固定 时 ,要 兼顾 收敛 速率 和 信号 恢复 质量 是 困难 的 。 因此 , m 通常 取 
时 变 函数 。 最 简单 的 做 法 是 取 时 间 递 减 函数 n4l4891， 更 好 的 选择 是 采用 自 适应 的 学 习 速 
率 ohl130,829 ,但 它们 都 没有 和 信号 的 分 离 状 态 或 者 相依 性 直接 挂 钓 , 效果 有 限 。 为 了 
克服 这 -缺陷 , 文献 [525] 提出 了 分 阶段 学 习 的 育 信 号 分 离 算 法 : 


War = Wi + A, O GY Wi (1.10.12) 


BU ES ERE A, 取代 一 维 的 学 习 速 率 po RF, AO B 表示 矩阵 A A Bi 
Hadamard #2. 
整个 信号 分 离 过 程 分 为 三 个 阶段 ,每 个 阶段 使 用 的 学 习 速 率 矩 阵 不 同 : 
(2) 初始 阶段 : 为 加 速 混合 信号 的 分 离 ， 对 所 有 信号 分 量 采 用 大 的 学 习 速率 no 此 
时 , 学 习 速率 矩阵 取 A, = mI 式 (1.10.12) 的 盲 信号 分 离 算法 取 式 (1.10.11) 的 
形式 。 
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(2) 捕 提 阶段 : 为 了 捕捉 到 所 有 的 信号 分 量 ， 并 考虑 到 有 的 信号 可 能 已 被 分 离 或 者 
被 部 分 分 离 ， 因此 对 所 有 信和 号 分 量 采 用 相同 学 习 速率 不 再 是 最 优 。 为 了 在 跟踪 
已 分 离 信 和 号 的 同时 ,加 速 捕 提 未 分 离 的 信号 ， 宜 对 不 同 的 信号 采用 不 同 的 学 习 
BE: 根据 分 离 的 程度 (其 测度 为 不 同 信号 之 间 的 二 阶 和 高 阶 相关 系数 ), 分 离 
称 度 越 好 的 信号 使 用 越 小 的 学 习 速率 ; 友之， 分 离 程 度 越 差 的 信号 使 用 越 大 的 
学 习 速 率 。 具体 而 言 ,此 阶段 取 学 习 速 率 和 矩阵 A, = D, 为 对 角 矩 阵 ， 对 角 元 素 

对 应 为 不 同 信号 分 量 的 学 习 速率 。 此 时 ， 言 信 叶 分 离 算法 式 (1.10.12) 简化 为 


Wen = Wet DiGly,)Wy (1.10.13) 


因为 Dy © G(y,) = DE GY) 
(3) 跟踪 阶段 : 一 旦 捕捉 到 所 有 的 信号 分 量 ,信号 分 离 便 进入 跟踪 阶段 . 在 本 阶段 ， 
学 习 速 率 和 矩阵 A, 的 各 个 元 素 取 小 的 值 , 言 信号 分 离 算法 取 式 (1.10.12) 的 形式 。 


分 阶段 学 习 的 学 习 速 率 也 可 以 利用 模糊 系统 理论 实现 P, 


1.10.3 ”和 珑 阵 化 函数 和 向 量化 函数 


算 阵 与 向 量 之 间 存 在 相互 转换 的 函数 。 
定义 1.10.3 一 个 mn x 1 HE a = [61,62,… eal? 的 矩阵 化 函数 unvecm n 是 一 


个 将 inn 个 元 素 的 列 向 量 转化 为 mxn 矩阵 的 算 子 ,， 即 


al Amt U Omini) 
aa Omi U Qnn 

unvecm n (a) = Anxn = | T hn D+ (1.10.14) 
üm üm amn 


相反 , 车 A= jay) 是 一 个 中 xm 矩阵, 则 A 的 向 量化 函数 vec(4) 是 一 个 mn x1 向 量 ， 
其 元 素 是 A 的 元 素 的 字典 式 排序 ， 即 


vec(A) = | : (1.10.15) 


和 矩阵 元 素 的 字典 式 排序 也 称 按 列 堆 栈 (column stacking). 
和 根据 定义 , 矩阵 化 算 子 和 向 量化 算 子 有 以 下 关系 : 


Unvecmn(a) = Amxn => vec(Amxn) = (1.10.16) 


算 阵 也 可 以 按 行 堆栈 (stack the rows) 为 行 向 量 ， 称 为 矩阵 的 行 向 量化 ， 用 符号 
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rvec(A) 表示 , 定义 为 
rvec(A) = [aj y Qin Gta > Om (1.10.17) 
注意 , HMM AMA RAPE. 行 向 量化 结果 为 行 向 量 。 显 然 , 矩阵 的 向 量化 和 
行 向 量化 之 间 存 在 以 下 关系 ， 
rvec(4) = (vec(AT})™, — vec{ AT) = (rvec(A))™ (1.10.18) 
对 一 幅 图 像 进 行 采样 ,采样 数据 组 成 一 敌阵 。 为 了 传送 图 像 信号 , 通常 先 按 行 扫描 ， 


然后 将 各 行 数据 串 接 起 来 。 因 此 ,这 是 - -种 典型 的 行 向 量化 。 
根据 定义 , 容易 证 明和 矩阵 的 向 量化 算 子 vec 与 迹 之 闻 有 以 下 关系 : 


tr( ATB) = (vec(A))Tvec( B) (1.10.19) 
mxn 矩阵 A 和 B 的 Hadamard 积 的 向 量化 函数 为 
vec(A © B) = veo( A) © vee(B) 
vec(A © B) = diag(vec(A))vec(B) = diag(vec(B))vec(A) 
RP, diag(vec(A)) AFH IEE BML veo(A) HUA -S TERR UC ETERRA ERE. 
显然 , 对 于 一 个 m xn 矩阵 A, 向 量 vec(A) 和 vec(AT) 含有 相同 的 元 素 , 但 排列 次 
序 不 同 。 因 此 , 存在 一 个 唯一 的 mn x mn HERE, 可 以 将 vec(4) 变换 为 vec(4T)。 这 
一 置换 矩阵 称 为 交换 矩阵 (commutation matrix), IRE K mo HABE 


Knnvec(A) = vec( A") (1.10.20) 
FRE RSE EAL F EE: 
Kan = Kann = Kym (1.10.21) 


由 于 Kin Kann = Kin Kan = Imn 故 交换 矩阵 下 wo AIEEE 

mn x mn 交换 矩阵 K mn 的 构造 方法 如 下 ; 每 一 行 只 赋 一 个 元 素 1， 其 他 元 素 全 部 
为 0。 首先, 第 工行 第 1 个 元 素 为 L 然后 这 个 1 RAS m 位 , 变 成 第 2 行 该 位 置 的 
1 元 素 。 第 2 行 该 位 置 的 1 元 素 右 移 m 位 , 又 变 成 第 3 TALER 1 TR. REAR, 
找到 'F 一 行 1 元 素 的 位 置 。 但 是 ， 如 果 向 石 移 位 时 超过 第 mn 列 ， 则 应 该 转 到 下 一 行 继 
续 移 位 , 并 且 多 移 1 位 , 并 在 此 位 置 赋 1. 例如 ， 


1000000 90 100000 00 
00100000 00001000 
00001000 01000000 
K,-(9 98990010 Kx =|? 9986100 
2 jo 10000 0 0f’ 2 00100000 
00010000 00000010 
00000100 00010000 
00000001 0009090001 
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因此 , RRE K an 和 五 wm EEE. URE 44xs 为 例 ， 显 然 


1000 0 0 0 OJ Jay ir 

0000 1 0 0 OF Jay, O12 

0 100 00 0 BD Jag, a2 
Karela- o o 1 0 0 0 0 0] faa] 5 fag] = wot" 

000000 1 Of Jag, aaz 

000100 0 Of fas an 

000000 0 1 [az a42 


1.10.4 Kronecker 积 


Kronecker 积 是 表示 矩阵 特殊 乘积 的 一 种 简洁 数学 符号 。 一 个 m x n 矩阵 4 和 一 个 
px q 矩阵 B 的 Kronecker 积 记 作 A S B, 它 是 -~ 个 mp x ng 矩阵 。 
定义 1.10.4 (Ai Kronecker 积 ) 8 m x n JERE A Al p x q SEE B AYA Kronecker 


RASBRRA 


aB aB -e amB 
annB aza 召 >> Go, B 

A@B=(a,Bl=; 0” i (1.10.22) 
mB mB > QamnB. 


定义 1.10.5 (Æ Kronecker 积 ) L914 om xn ERF A 和 pxg 和 矩阵 BB 的 左 Kronecker 
FASB EXX 


Ab Abn = Aby 
b 
21 22 2 

[A@Blhen=[Ab=| . : (1.10.23) 
Abp Abp > Abpg 


容易 看 出 , WRAA Kronecker 积 的 形式 书写 , WA Kronecker 积 可 写成 [48 B]e = 
吾 @ 4。 由 于 这 一 原因 , AT MARIE, ASEM Kronecker 积 采 用 右 Kronecker 积 


的 定义 ,除非 另 有 申明 。 
Kronecker 积 也 称 直 积 (direct product) 或 者 张 量 积 (tensor product) 29, 


车 矩阵 Amxn = abT, W) 


vec(abT) = b@a (1.10.24) 
如 下 面 的 定理 所 述 , 向 量化 算 子 的 这 一 性 质 公式 可 以 推广 为 矩阵 乘积 的 向 量化 公式 。 
定理 1.10.4 7 $ Ayo Boxgs Coxu’ M 
vec(ABC) = (C™ @ A)vec(B) (1.10.25) 


证 明 $ B= [bbn b] FFA ener ,eg 是 px1 基本 向 量 , 即 
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于 是, 由 式 (1.10.24) 易 知 
vec( ABC) = vec (= avec) = 六 ve ((4b(CTe)") 
ii i=l 


= W(C7e,@ Ab) = (C7 @ A) (e.0b,) 


i=l i=l 
a 
= (CT @ A) $ vec(b;e7) = (CT ® A)vec(B) 
i=l 
本 定理 得 证 。 a 
下 面 是 定理 1.10.4 的 两 个 特例 。 
(1) E 4 为 单位 矩阵 In 而 Be R”, C e Re, W 


vee(BC) = (CT 8 I, )vec(B) = (C78 B)vec(I,) = (I, ® B)vec(C) (1.10.26) 
Q#C=4 hq 向 量 , M 
ABd = vec(ABad) = {dT @ A)vec(B) = (A @ d™)vec(B™) (1.10.27) 
Kronecker 积 具 有 以 下 性 质 。 
(1) 对 于 矩阵 Ann 和 Bp “RA A@BABOA. 
(2) ERER PEPER Kronecker (RF FEM, 即 A®O=-OGA=O0. 


3) Ha 和 8 为 常数 , 则 
aA & 6B =af(A® B) (1.10.28) 


(4) 对 于 和 矩阵 Amn Baxe Cixp Doxa 有 
AB ®CD =(AQC)(B@D) (1.10.29) 
(5) 对 于 矩阵 Amxn Box Cpxg 有 


A@(BLC)=AGBLAGC (1.10.30) 
(B+C)@A=B@ALCBA (1.10.31) 


(6) FM 4 和 BAIAT AER At 和 Bt, 则 
(48 B} = Ate Bt (1.10.32) 
特别 地 , HA 和 B 是 可 逆 的 正方 敌阵 ， 则 


(48B)! =A 8 B (1.10.33) 
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(7) 对 于 矩阵 Anns Bpxg， 有 
(48B) = AT@ BT 
(A@B) = Ag Be 
(8) 对 于 矩阵 Amxn, Boxgs 有 
rank(A @ B) = rank(A)rank(B) 
(9) HAR mx mH. B&n xn JERE, 则 
det(A @ B) = (det(.A))"(det(B))” 
(10) #7 A Æ mx m ER, B E nxn 矩阵 ， 则 
tr(A @ B) = tr(A)tr(B) 


(11) 对 于 和 矩阵 Amyn Bman Cpxgs Doxa’ 有 
{A+ B)@(C+D)=ASC+AQD+BQC+ BOD 


更 一 般 地 , 有 


M N M N 
bs a) @ [sao] => DHe BO) 
i=l j=1 i=1 j=1 
(12) 对 于 矩阵 Anca Bexo Cpxgs Dexo 有 
(4@B)e@lCeD)=4gB@CeDD 


(1-10.34) 
(1.10.38) 


(1.10.36) 


(1.10.37) 


(1.10.38) 


(1.10.39) 


(1.10.40) 


(1.10.41) 


(13) 车 as 是 矩阵 4 与 特征 值 A 对 应 的 特征 向 量 ，B, 是 矩阵 B 与 特征 值 y; 对 应 
的 特征 向 量 , We, @ B; 是 矩阵 AOB 与 特征 值 ys 对 应 的 特征 向 基 , 也 是 与 


特征 值 Xi + ps 对 应 的 特征 向 量 。 
(14) 对 于 矩阵 Anca Boso Crx 有 
(4eBoC=4e(BecC) 


即 AS BOC 的 结果 是 无 模糊 的 (unambiguous)。 
(15) SPT HERE Ayn cnr Bong: Cnxr, 了 Dox。 有 
(48 B)\(C 8 D) = AC 9 BD 


更 一 般 地 , 有 


Ty 8 BG) = o [fja o] [16] 


i=l 


和 N N N 
| aoj | o] = A BO 
j=l 


i=1 


(1.10.42) 


(1.10.43) 


(1.10.44) 


(1.10.45) 
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(16) 对 于 矩阵 Ayn: Bpxgs 有 
exp(A @ B) = exp(A) @ exp(B) (1.10.46) 
(17) 作为 式 (1.10.43) 的 特例 , Æ B = E, A C= I, 则 
A8 D = (AI) ®(I,D) = (4 8 I,)(Ip @ D) (1.10.47) 


式 中 , 1,8 D 为 抉 对 角 和 矩阵 (对 右 Kronecker 积 ) 或 稀疏 矩阵 {对 左 Kronecker 
积 ), MASI, AMM (对 石 Kronecker 积 ) 或 块 对 角 矩 阵 (对 左 Kronecker 
积 )。 

上 述 性 质 (1) ~ 性 质 (6) 引 白 文献 [383], 性 质 (16) 和 性 质 (17) 引 白文 献 [36], [191], 
其 他 人 性质 汇 总 白文 献 [60]. 

为 了 更 方便 地 表示 Kronecker 积 ， 引 入 以 下 符号 。 

elinin sii 车 ce 起 一 个 具有 pr 个 元 素 的 向 量 , 则 elinin i) 表示 向 量 c 的 
第 [i - Dp) + (ig — ph Ft +] PIG, FOP, tig = {1,2 phe 这 样 
一 来 , p 个 元 素 的 向 量 即 可 视 为 一 个 上 维 阵 列 。 

M (iy io] Pojo oi: Æ M BE p xp ERE, 则 用 Mli ia i), 
Dirjo siel) 表示 矩阵 M 的 第 [i — Lp + (ia — ph? + hig Ga — Di + (Ga = 
ph? 十 … 十 外] 个 元 素 , 其 中 iio sip Fasdor + de = {1,2,… Pho 

例 1.10.1 假定 p=2 和 大 = 2, 则 

cl1,1] = e 的 第 [(1 - 1)22-1 十 二 元 素 =e 的 第 1 个 元 素 
cl1,2] = ce 的 第 [(1 —1)2?-? + AH =cHA 2 个 元 素 
cl2,1] = ce 的 第 [(2 - 1927-1 + 1) TH = ce HR 3 个 元 素 
of2, 2) = c 的 第 [(2 - 1)2?-1 十 对 元 素 = c 的 第 4 个 元 素 


此 , 可 以 将 向 量 ec 表示 为 e = col(c[1, 1], efl, 2, c[2, 1), c[2,2]). HH. col 表示 列 向 量 。 关 
似 地 , 车 p=2 和 = 3, W 


c= col(e[l, 1, 1], e[t, 1, 2], e[t, 2, 1, ell, 2, 2], el2, 1, 1], cl2, 1, 2], cl2, 2, 1}, cl2, 2, 2]) 


使 用 以 上 符号 后 ， ASB 的 第 [(ii m+ in, Gy — Dnt jo] PHBA al), 5 )oGy, ja) 其 
中 ,和 =b2 ps iy = 1,2,0 G5 tg = 1,2,-++ m; Jo = 1,2, Mo 
1.10.2 考查 矩阵 方程 

LX+XN=Y (1.10.48) 


其 中 , 矩阵 X 未 知 。 假 定式 (1.10.48) 中 的 所 有 和 矩阵 都 是 nxn 矩阵 。 随 机 动态 系统 的 稳 


定性 理论 和 静态 分 析 都 可 归结 为 此 垂 阵 方程 。 由 Kronecker 积 的 性 质 (14) 知 


Un @ L) + (NT @1,,)vec(X) = vec(¥) 


1.10 Hadamard 积 与 Kronecker 积 


故 
vec(X) = (NT @ L)“!vec(Y) (1.10.49) 


车 NT @ 工 非 奇异 。 由 谱 表 示 原 理 [ea 和 性 质 (12) 可 得 到 


T be B w) (B, BV)T 
(NT @ L) -5 È ty (1.10.50) 


EH, bp wa Br 和 9; 2H NT, L, N 和 LT 的 特征 向 量 。 综 合式 (1.10.49), 式 
(1.10.50) 以 及 性 质 (3). 性 质 (6) 和 性 质 (14)， 即 可 得 出 解 为 


non T 
X=Y Dene TY Babe (1.10.51) 
fl k PtT 
定义 矩阵 A 的 Kronecker 平方 


APASA (1.10.52) 


类 似 地 , 可 以 定义 Kronecker RE AM, 
有 必要 指出 ， 除了 两 个 矩阵 的 Hadamard 积 与 Kronecker 积 之 外 ， 还 有 另外 一 种 矩 


阵 的 特殊 乘积 。 
如 果 G 是 tx 矩阵 , 而 F Æ qx u HERE BGA F ARE, RE 


PEAY Khatri-Rao 积 记 为 F» G， 并 定义 为 252138 
P«G@=([f, 89 F2@9° fu D gu] (1.10.53) 


FEM 1.10.6 B56| HE NA mxr ERE A, § = 12… ,它们 组 成 矩阵 组 {4} w。 
该 矩阵 组 与 N x 1 矩阵 B 的 Kronecker 积 称 为 广义 Kronecker #2, 定义 为 
Ay @ 
Ay @ By 
{A}x® B= : (1.10.54) 
Ay Sby. 
RH, b, 是 矩阵 B 的 第 i 个 行 向 量 。 
与 两 个 矩阵 的 Kronecker RAR, 广义 Kronecker 积 是 多 个 矩阵 组 成 的 矩阵 组 与 另 


一 个 矩阵 的 Kronecker 积 。 
显然 , 若 每 一 个 矩阵 A, 相同 ， 则 广义 Kronecker 积 简化 为 一 般 的 左 Kronecker 积 。 


例 1.10.3 令 
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则 广义 Kronecker 积 为 


1 1 1 1 2 2 

f1, 2] 
weai; =] | 345 
[i jema] [i a4 3 


下 面 是 广义 Kronecker 积 的 性 质 ss 。 
(1) 车 {A} 的 每 一 个 矩阵 为 ml x n ER, {B} 的 每 一 个 矩阵 为 ms x na BEBE, 并 
H {C} 的 每 一 个 矩阵 为 ms x ng SORE, W 
({A} @ {B}) 8 {C} = {A} @ ({B} @ {C}) 
(2) 广义 Kronecker 积 与 矩阵 直 和 之 间 人 存在 以 下 关系 : 
N 
{A}y @Iy = Ba 


wl 


(3) 车 


AyE 


则 
({A}E)® ({B}F) = ({A} 8 {B})(B 8 F) 


(4) 令 {AO}, {A0}, {4P} p MERA, TEES k MERAB N, = m* 
AERE, 即 {AM} yo EX 


R= {APY} @{AP} 2 @ {AM}, BAM 


则 矩阵 R 具有 稀疏 矩阵 分 解 形 式 
pol mk kt 
R=] | @ (teap) 
k=0 i=0 


(5) 车 每 一 个 矩阵 AM” 为 西 (RAWA) EME, 则 REA (RAHA) JEM. 
(6) 车 m= n 使 得 AM,i=0,1,---,m*—1, &=0,1,--- ,p— 1 AEDE, BU 


polm*— 


det(R) = JI T [det(A 


k=0 i=0 

广义 Kronecker 积 在 滤波 器 组 的 分 析 、Haar 变换 和 Hadamard 变换 的 快速 算法 的 推 
导 中 有 着 重要 的 应 用 。 对 这 些 应 用 有 兴趣 的 读者 可 以 参考 文献 [386]。 
下 面 是 向 量化 函数 、Kronecker RRA Khatri Rao 积 的 性 质 ' aal。 
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(1) 矩阵 之 和 的 向 量化 
vec(A + B) = vec(A) + vec(B) 


(2) 转 置 矩阵 的 向 量化 
vec(AT)= K,,vec(A) 


(3) 两 个 矩阵 Amsa Baxp 的 向 量化 
vec(AB) = (I, ® A)vec(B) = (BT @ I,)vec(A) 
= (BT 8 A)vec(I,) 
(4) 三 个 矩阵 Aja Baxp Cpxg 的 向 量化 296 P30] 
vec(ABC) = (CT ® A)vec(B) 
(5) 矩阵 的 Kronecker WR 
AM 一 Agah 
(6) 矩阵 乘积 的 Kronecker FEF 
(AB)N = AH BA 
(7) = MERRIE 
tr(ABC) = (vec(A)) (I, 8 B)vec(C} 
(8) DG -MEEFRAR AE 296 p.31) 
tr(ABCD) = (vec(D™))T(CT @ A)vec(B) 
= (veo(D))"(A @ CT vee(B*) 
(9) 矩阵 内 积 的 迹 等 于 两 个 矩阵 的 向 量化 函数 的 内 积 , 即 
tr(ATD) = (vec( A))T vec(D) l 


(10) Khatri-Rao 积 的 结合 律 
As(D*F)=(A+D)*F 
(11) Khatri-Rao 积 A+B B+ A 之 间 的 关系 
AxB=K,,(B+* A) 
(12) Kronecker #449 Khatri-Rao 积 的 乘积 
(A8 B)(F «G) = AF + BG 
式 (1.10.56) 和 式 (1.10.66) 中 的 矩阵 Kg 为 交换 矩阵 。 


(1.10.55) 


(1.10.56) 


(1.10.57) 


(1.10.58) 


(1.10.59) 


(1.10.60) 


(1.10.61) 


(1.10.62) 
(1.10.63) 


(2.10.64) 


(1.10.65) 


(1.10.66) 


(1.10.67) 
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1.10.5 Kronecker 积 的 应 用 


Andrews 与 Kane 证 明 C7, Kronecker 积 表 示 可 以 导致 多 种 离散 西 变换 的 有 效 计算 
机 实现 , H-H. Kronecker 积 可 以 利用 矩阵 分 解 定义 。 文献 [18] 介绍 了 Kronecker 积 在 广义 
谱 分 析 中 的 应 用 。 Fino 与 Algazi 证 明 133, 一 大 类 离散 西 变 换 都 可 以 利用 广义 Kronecker 
积 (具有 和 矩阵 置换 即 元 素 重 排 ) 的 递 推 公式 产生 。 另 外 ,Kronecker 积 还 可 用 于 快速 西 变 
换 的 设计 [te9j， 数 理 统计 EON, 线性 系统 理论 el ,信号 处 理 与 系统 理论 中 的 随机 静态 分 
析 、 随 机 向 量 和 随机 向 基 过 程 分 析 [371, 滤波 器 组 和 Hadamard 变换 的 分 析 sg 等 。 
Kronecker 积 最 直接 的 应 用 是 求解 矩阵 方程 组 


AXB=C (1.10.68) 


AH, AA X SHAE mx n Al nx pIE, TBA 的 维 数 分 别 是 pxg 和 m x g。 
利 内 向 量化 算 符 , 定义 z = ve(X) 和 e= vec(C), 则 方程 组 (1.10.68) 可 以 几 短 阵 
的 Kronecker 积 改写 为 383] 

(A@B )r=e (1.10.69) 
一 旦 解 向 量 z 通过 式 (1.10.69) 求 出 后 ， 即 可 利用 向 量 zx HOM AES 
方程 组 (1.10.68) 的 解 矩 阵 X = unvec(z)。 

Kronecker 积 最 具有 代表 性 的 应 用 莫 过 丁 在 信号 处 理 与 系统 理论 中 的 多 变 元 时 间 序 
列 的 高 阶 统计 其 理论 与 方法 中 的 应 用 。 可 以 这 样 说 , Kronecker 积 乃 是 多 变 元 时 间 序 列 的 
高 阶 统计 量 分 析 的 基本 数学 工具 之 一 。 正 是 由 于 Kronecker 积 的 使 用 , 才 使 得 多 变 元 时 
间 序 列 的 高 阶 累积 量 、 高 阶 谱 (多 谱 ) 和 描述 输入 、 输 出 与 多 信道 系统 冲 激 响应 三 者 关系 
的 数学 公式 变 得 非常 的 简洁 , 直观 上 与 单 变 元 情况 下 的 对 应 表示 极其 相似 。 

1， 向量 过 程 的 累积 量 

考查 观测 过 程 y(n), 它 是 一 个 p 维 随机 向 量 , 即 y(n) = [ey (2), lnh nT. 
证 机 向 量 的 累积 量 (cumulants) 有 两 种 不 同 的 定义 选择 。 

一 种 方式 模仿 概率 论 中 的 第 二 特征 函数 (又 叫 累积 量 生成 函数 ,) 定义 。 令 向 量 w = 
oa ep] = 12,00 Ay = wT) yT (at) 现在 ws 和 
y 均 为 pk EAE) HPA BRERA In E{fexp(jwigj}， 再 用 该 生成 函数 的 Taylor 
级 数 展开 系数 定义 随机 向 量 y 的 高 阶 累积 量 。 但 是 , 这 种 定义 最 后 的 表达 式 太 复杂 ， 并 
且 难 于 推导 出 其 他 很 多 有 用 的 公式 。 

与 上 述 定义 方式 不 同 ， 另 外 一 种 定义 具有 很 多 明显 的 优点 。 这 种 方式 定义 向 量 元 素 
HERRE 例如 


= Binitay la + ndul + Ta} 


Æ yln),y,;(n) 和 u) 的 三 阶 累积 量 。 这 样 一 种 定义 能 更 加 方便 地 表示 随机 向 量 的 人 阶 
累积 量 , 也 有 利于 累积 量 之 间 的 运算 。 下 面 介绍 这 种 定义 。 
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定义 1.10.7 8) 假定 随机 向 量 rper … ,zx 分 别 具 有 p SIH, ptp, Ey 
的 累积 量 cum(%1,%2,… ,zk) 是 一 个 有 p* 个 元 素 的 向 基 ,， 其 第 irii) 个 元 素 为 
互 累 积 量 eum(zn ,zzi Tag) EP inin + ste E {1,2,… ,p}。 特别 地 ， 随 机 向 
H yin) 的 天 阶 累积 量 定义 为 


cp(im = cumlyln), y(n + Ta) yi Tei )] (1.10.70) 


其 第 Dios tas sia] PERA cumyss ln), ya (RT Je Yaa MATa) FOP fost 
ik-1 E {1,2, sP}o 

PRET pt 个 元 素 的 向 量 而 不 十 k 维 阵列 有 两 个 主要 原 央 ， 

(1) 它 使 得 我 们 在 运算 中 能 够 使 用 向 量 和 算 阵 代数 。 

(2) 它 使 得 我 们 能 够 使 用 Kronecker 积 的 代数 运算 得 到 向 量 过 程 的 相当 直观 的 累积 
量 公式 。 

业已 证 明 O97), 一 个 零 均值 的 p 元 素 非 平稳 向 量 过 程 y(n) 的 阶 累积 量 由 p 个 元 
素 的 向 量 ei 给 出 : 


catni 7) =Efy(n) 8 y(n + 7)} (1.10.71) 
gy (25 71,72) =Efy(n) @ y(n + 71) S y(n + 72)} (1.10.72) 
Cay (P5711 Ta Ta) = Ef y(n) Bylin + 73) B y(n + 7%) @ y(n + 7%)}— 
E{y(n) @ y(n + 1)} © Ely(n + 72) @ y(n + 73)}— 
PTE{y(n) y(n + 72)} @E{y(n + 73) @ y(n 十 万) 一 
P,E{y(n) 9 y(n + 73)} @ Ely(n +) @ y(n + 72)} (1.10.73) 


其 中 , P, 是 一 个 ps x pt 置换 矩阵 ,定义 为 Py = LOU pipe 这 里 ， U py, EA p xp 
置换 矩阵 ， 它 的 第 [(i 一 Dp + ky (一 Lp? 十 让 个 元 素 等 于 1 (其 中 , i = 1,2,… pk = 
1,2,… ,p)， 而 其 他 元 素 均 等 于 等。 ` 

若 y(n) 为 标量 随机 过 程 , 则 只 要 将 上 述 累 积 量 公式 中 的 Kronecker 积 换 成 一 般 的 数 
乘 ， 置 换 矩 阵 换 成 1 即 可 。 换 句 话说 , 向 量 过 程 的 累积 量 与 标量 过 程 的 累积 量具 有 惊人 
的 相似 形式 。 

再 以 随机 向 量 的 累积 量 的 一 个 重要 性 质 为 例 。 若 A (i = 1,2,… ,) 为 r+ xp BR 
阵 , 且 zi(i = 1,2,… ,KR) 为 p x 1 随机 向 量 , 则 


cum(A,2,,-+-,A,@,) = [A BB A,joum(a,,-++ ,2,) (1.10.74) 


证 明 py = Aywi(i = 1,2,--- k) ERE A, 的 第 G) 个 元 素 为 Agi 于 是 , 由 标 
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基 随 机 过 程 的 累积 量 性 质 ， 有 


cam s Yelin sk] = Cum itt Yiee) 


P p 
= cum | $ Ane afaa DO Aripi Te 


=1 feat 


P P 
= Pee D Anaa Me Ea a) (1) 


j=l jsl 
根据 Kronecker 积 的 定义 , KURIR (1.10.74) 右边 的 第 fiin i] 个 元 素 为 
(4@ B 4)Jcum(z 6)[ 44] 


p 
= DD Anaga Ni ne) li e é] 


n=l feel 


= y sae ys Aa eee Arite ie CUME 5, aot Ekia) (2) 
j=l jen 
比较 式 (1) 和 式 (2) 立即 可 知 , 两 式 完全 相同 ， 故 式 (1.10.74) 为 真 。 a 
假设 多 输入 - 多 输出 (MIMO) 系统 可 以 用 下 面 的 状态 空间 描述 ; 
æ(n+ 1) = @(nja(n) + Binje(n) (1.10.75) 
yin) = B(nja(n) + vln) (1.10.76) 


则 状态 过 程 x(n) 的 累积 量 向 量 cs(n;,… ,76_1) 可 以 递 推 计算 ,而且 输出 过 程 向 量 
y(n) 的 累积 量 向 基 celim o Ta) 与 状态 过 程 的 累积 量 向 量 之 间 有 下 列 关系 : 
Cry T Te) = Bn) @ Pintan) -D O(n +T) 
Che (Rs Tis Tent) + Cholni Tist 5 Tea) (1.10.77) 
对 以 上 递 推 公式 的 建立 和 式 (1.10.77) 的 让 明 感 兴趣 的 读者 可 参阅 文献 437 
2. 多 信道 BBR 公式 
除了 使 用 状态 空间 模型 外 ， 随 机 向 量 过 程 y(n) 也 可 视 为 一 个 线性 多 信道 系统 的 输 
出 ,该 系统 的 冲 激 响应 矩阵 为 百 (m, 和 六， 输入 为 随机 向 量 e(n}。 RHH yin) 可 表征 为 
y(n) = D H(n,ke(n) (1.10.78) 


k=-00 
其 中 , y(n) € Rv, e(n) € R™ 和 H(n,k) € Rw x R, H X xY 表示 非 空 集合 X GY 


的 积 集合 , BX xY = {(2,y): ce XyeY}. 
假定 e(n) 与 e(m),n Am 独立 , 即 其 累积 量 为 多 维 Kronecker 6 函数 : 


Chel Tie ,Te-1) = cum{eln), eln +7), ,e(n + 71)} 


= Yre (NAT) HTe-1) (1.10.79) 
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stp, 输入 累积 量 Yetn) 是 一 个 有 ns 元 素 的 向 起 。 
描述 多 信道 系统 Hn, k) 与 它 的 输入 累积 量 、 输 出 累积 重 三 者 之 间 关 系 的 数学 式 称 
为 多 信道 Bartlett-Brillinger-Rosenblatt (BBR) 公式 。 
4 my = 0, 则 
Cry (NT TH-1) 
= cum{y(n), y(n + n) wn + Tk)} 


=cum 位 Hin + toto)elto Alm + tea, reset} 


to teat 


=J cam{ Hn + no,to)elto), (n + re, th e(te—1)} 


thon 


= 了 > [En +T to) 8- 8 H (n+ Tk-1, tk-ijcum{eltoh ,et( 攻 -1 


利用 式 (1.10.79)， 上 式 可 进一步 简化 为 


cw Win Tea) = D+ HR + Toto) 88 Hlnt mn te-1)] 


to teaa 


red (to — £1) (to — th-1) (1.10.80) 
注意 到 dlto- t) = 1 (Ë ti = to) 和 6lto — ti) = 0 (F ti A to) WER (1.10.80) 可 简化 为 


Calin Te) = D Emo Ant) BB HOt na i)li) 


(1.10.81) 
由 此 得 到 下 面 的 定理 。 
定理 1.10.5 (多 信道 BBR AR) 对 于 由 式 (1.10.78) 定义 的 线性 向 量 过 程 y(n), 苦 
输入 满足 式 (1.10.79)， 且 冲 激 响应 矩阵 H (n, k) 是 绝对 可 和 的, 即 
> > |H (n, k)| < 00 
n=0 k=—o0 
MAA AERA k 阶 累 积 量 向 量 由 BBR 公式 (1.10.81) 给 出 ; 并 且 当 系统 是 时 不 变 即 
Hin, k) = H(n— k) AB pel) = Yre 时 , A (1-10.81) 简化 为 


hy (Tass Te—1) = S [HOH +n) @--- OH + th) Yke 


io 
oo k—l 

=> [Suen Yee To =0 (1.10.82) 
i= co Li=0 


利用 Kronecker 积 还 容易 推导 出 多 信道 ARMA 过 程 的 累积 量 与 多 信道 AR 参数 之 
间 的 线性 法 方程 — 多 信道 修正 Yule-Walker (MYW) 方程 , 它 是 辨识 多 信道 ARMA 模 
型 的 关键 方程 。 对 这 一 应 用 感 兴趣 的 读者 可 参考 文献 [521] 中 的 第 9 章 。 
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本 章 小 结 


本 章 从 线性 方程 组 出 发 ， 引 出 了 向 量 和 矩阵 的 概念 ， 并 介绍 了 向 量 和 矩阵 的 基本 运 
算 。 本 章 的 基本 内 容 如 下 : 

(1) 向 量 的 范 数 、 内 积 、 线 性 相关 性 、 正 交 性 和 相似 度 。 

(2) 矩阵 的 标量 函数 : 范 数 、 秩 、 行 列 式 和 迹 。 

{3) 向 量子 空间 的 维 数 、 零 维和 基 疝 量 ， 以 及 正 交 基 的 构造 (Gram-Schmidt 正 交 化 )。 

(4) ERRAR EME. 广义 逆 矩阵 以 及 线性 方程 组 的 求解 。 

(5) BRA RAR WH RR: 直 和 、 直 积 与 Kronecker 积 。 
特别 地 , 还 重点 介绍 了 求 谱 矩阵 、 广义 逆 矩 阵 和 Moore Penrose 送 矩 阵 的 几 种 具体 算法 。 

国 绕 向 量 和 矩阵 的 一 些 重要 概念 和 定义 ， 本 章 还 依次 介绍 了 以 下 应 用 : 

(1) 向 量 的 相似 度 在 模式 识别 的 应 用 (分 类 ); 

(2) 正 交 向 量 在 移动 通信 的 应 用 (多 址 通信 ); 

(3) 向 量 范 数 在 自动 控制 理论 中 的 应 用 (作为 Lyapunov Ba); 

(4) 正 交 基 在 Fourier 分 析 和 小 波 分 析 中 的 应 用 ; 

(5) 广义 逆 矩 阵 在 二 维 ARMA 建 模 中 的 应 用 ; 

(6) Hadamard 积 在 盲 信号 分 离 中 的 应 用 ; 

(7) Kronecker 积 在 多 信道 信号 处 理 中 的 应 用 。 


习 题 


1.1 证 明和 矩阵 加 法 的 结合 律 {4 + BB) + C = A+(B+C) 和 矩阵 乘法 的 右 分配 律 


(A+ B)C = AC + BC. 
1.2 4 
0 0 1 2 3 
x=| -340| 和 Y=|0 -2 1 
51 7 0 


求 X?,Y?,XY,YX, 并 证 明 


owo 


(X-Y)?=X?+¥?-xY-YX = | -26 37 1 


1.3 假定 AM B 具有 相同 的 维 数 , 证 明 


(A+ B)(A+B)! = (A+ B)(A? + BT) = AA™ + BB" + ABT + BAT 
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14 4Az= [ 04 06 |: 计算 A, A‘ 和 A5。 


0.2 0.8 
1.5 已 知 线性 方程 组 
291 — ya = Tl 
321 二 
Y1 + 2y2 一 z2， 
52, 十 2zo = ya 
—2y1 十 3ya = T3 


用 zz 表示 21, 29,730 


1.6 利用 初等 行 变换 ,将 矩阵 


0 0 0 0 2 8 4 
Aa-210 9 0 1 4 9 7 
一 |0 3 -1 -3 -8 -15 —32 
0-2 -8 1 6 B A 
化 简 为 简约 阶梯 型 矩阵 。 


1.7 利用 算法 1.1.2 求解 线性 方程 组 


271 — 472 + 373 一 474 — lla, = 28 
一 Zi 十 2zo 一 Z3 十 274 十 Ses = —13 
—373 + 224 +525 = —10 
3x, — 5z3 二 10zs —7ay + 1275 = 31 
1.8 假定 


423 4---4n3 san t an? + agn? + agnt 


试 求 常数 a1,a2, 03,44。 (RF: 分 别 令 n=1,2,3,4 得 到 线性 方程 组 . ) 


1.9 题 1.9 图 画 出 了 某 城市 6 个 交通 枢纽 的 交通 网 络 图 Pl, Rh, 节点 表示 交通 


400 
zı £a 
800 > 
zs Ta zs 
600 一 < « 
Te Tr 
400 400 


题 1.9 图 交通 网 络 图 


枢纽 的 编号 , 数字 表示 在 交通 高 峰 期 每 小 时 驶 入 和 驶 出 某 个 交通 枢纽 的 车 辆 数 。 


600 


1600 
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(2) 写 出 表示 交通 网 络 图 各 个 交通 枢纽 的 交道 流量 的 线性 方程 弓 , 并 求解 该 方程 给。 
(2) # ze = 300 辆 /小 时 ,zz = 1300 辆 /小 时 , 求 交通 流量 T; ~ Eyo 
1.10 题 1.10 AEAT BEM, 求 各 个 支 路 的 电流 。 


59 2V 


+ 


30 le 


52 


题 1.10 图 Hae 
1.11 证 明 : 由 所 有 2 x 2 实 和 矩阵 组 成 的 集合 是 一 向 量 空间 , 若 向 量 加 法 定义 为 年 阵 
加 法 ， 疝 革 与 标量 的 乘法 定义 为 矩阵 与 标量 的 乘法 。 (提示 : 使 用 向 量 空间 的 定义 公式 
(1.2.1). ) 
1.12 $F: Po R? 是 一 变换 ， 定 义 为 


- zi 
F(a) = pa =| ae A 
试 确定 F 是 否 为 线性 变换 ? 
1.13 $ 4 是 一 个 3x4 甜 阵 , 证 明 4 的 列 线性 相关 。 
114 4A 是 一 个 4x 3 矩阵, 证 明 A 的 行 线性 相关 。 
1.15 SV nAra, Ab AER nx] flab. 证 明 : FE nxi E o EV, 
使 得 
lb- vol < lb-oll vueVv 
(提示 : Sepen ,es 为 子 空间 Y 的 正 交 基 ， 其 中 , ei, i=1,2 nn AREA 


元 素 为 1， 其 他 元 素 等 于 0 的 nx1 向量 . ) 
1.16 2 矩阵 的 秩 在 工程 控制 系统 的 设计 起 着 重要 的 作用 。 一 个 离散 时 间 的 控制 


系统 的 状态 空间 模型 包括 了 差分 方程 
Typi = AD, + Buy, 大 一 0 


RH, Ae R™, Be RX”, 并 且 a, E R" 为 描述 系统 在 k 时 刻 的 状态 的 向 量 ,简称 状 
态 向 量 ; 而 u, 为 系统 在 愉 时 刻 的 输入 战 控制 向 量 。 和 矩阵 对 (A, B) 称 为 可 控 的 ， 车 


rank ([B, AB, 4°B,---,A"*B]) =n 
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E (A, B) 是 可 控 的 , 则 最 多 用 n 步 即 可 将 系统 控制 到 任意 一 个 指定 的 状态 2。 试 确定 以 
FIERET Ae HIE: 


09 1 0 0 
wafe —0.9 0 |.» f] 


0 0 05 1 
08 -03 0 1 
Q)A=|02 05 1 1,B=|1 
0 0 -05 0 


1.17 令 U 和 VV 是 Euclidean n 空间 Re 的 两 个 子 空间 ， 并 假定 V 是 U 的 子 集 。 
证 明 dim(V) < dim(0)。 4 dim(V) = dim(U), EWU AST V, WE V =U. 

118 令 正 方 矩 阵 4 和 B 共有 相同 的 维 数 , 证 明 tr(4B) = tr(BA)。 

1.19 解释 为 什么 

(1) wT Aw = tr(eT Az) 


(2) eT Ax = tr(Aaa™) 
1.20 FAN nxn SRE, WEH: 


ala- 2AN. -Sma -a1 


RP, A, 是 (n 一 1) x(n- 1) ER, CEMER 4 PWES k ITAR k IR FRF 
HERE 

1.21 满足 |4 - AZ| = 0 的 根 称 为 矩阵 4 的 特征 要 。 利用 上 式 结果 , 证 明 : 若 入 是 
矩阵 4 的 一 个 单 特征 根 , 则 至 少 有 一 个 行列 式 4x 一 和 I| = 0。 

1.22 ”直线 方程 可 以 表示 为 az + by = -1。 证 明 一 条 通过 点 (21,9) Al (23,9) HA 
线 方程 为 
1 z y 


la y 
1 s y 


=0 


1.23 平面 方程 可 以 表示 为 ar 十 到 二 oz = -1。 证 明 : 通过 三 点 (2 yoz) i= 1, 2,3 
的 平面 方程 由 


£ y z 
A n ala 
T2 Yo 72 
T3 Ys 23 


rene 


决定 。 
1.24 ”在 不 展开 行列 式 的 情况 下 , 证 明 下 列 结果 : 
a+b b+e cta 


d+e e+f f+d 
ety y+z z4+2 


2 


b c 
e fi= 
y z 
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A 
0 a b b+a c c 
2ja 0 c|=| b a+c b 
b e Q a a c+ 


1.25 令 Anen IER 并且 Bay, 半 正 定 , 证 明 
det(A + B) > det(A) 


1.26 $ Anxn 和 Bay, 都 是 半 正 定 矩 阵 , 证 明 


det(A + B) > det(A) + det{B) 


1.27 4 Anxa 正定 , 并 且 Bryn 半 负 定 , 证 明 

det(A + B) < det(A) 
1.28 $ Anxi 满足 A5 = 34。 试 求 |4| 的 所 有 可 能 的 数值 。 
1.29 已 知 X = [A,B] 是 一 个 分 块 矩 阵 , 证 明 


ATA A'B 
BTA BB 


|X|? =|AA™ + BBT| = 


1.80 41.736 nxn ROBE M = IX (XTX) 1X", BEM X MRA ry, Hy 
是 一 个 正 态 分 布 的 随机 向 其 , REE Xb, HEH oI, 即 y ~ N(Xb, 07), 
证 明 

(1) E{y™My} = (一 rx)o2。 

(2) y My 和 yT(I — M)y 是 统计 独立 的 随机 变量 。 

(3) VYMy/o? 服从 自由 度 为 (wn 一 rx) BA? 分 布 , B yT My/o? ~ 如 

(4) 4 Xb=0 BF, y(T—- M)y/o? ~ ap» 

1.31 4 A? =A, 用 下 面 两 种 方法 证 明 rank(Z — A) =n —rank(A): 

(1) FUERE A 的 迹 与 秩 相 等 的 性 质 。 

(2) 考虑 线性 方程 组 (I ~ A)z = 0 的 线性 无 关 解 。 

1.82 4 |A +AT = AP +a AI H an À Hano 证 明 


a, =—tr(A}, a= -ear(4) 十 tr(42 


HRH a1,02,… ,os_1 表示 ax 的 通用 递 推 关 系 式 。 
1.33 EAER 

111 2 

A=|-1 0 2 -3 

| 248 | 


1 
5 
求 矩阵 A 的 秩 和 零 维 。 (提示 : 将 矩阵 A 化 为 阶梯 型 。 ) 
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1.34 $ A E— A mx n MBF, 证 明 rank(A) <m Ñi rank(A) <n. 
1.35 ”考虑 线性 方程 组 


T, 十 372 — T3 =a, 
xı 十 272 = ag 


371 十 7z2 一 Za = Qa 


(1) 确定 线性 方程 组 为 一 致 方 穆 的 充分 必要 条 件 。 
(2) 假定 三 种 情况 ; 
D a, =2,0)=2,a, =6 
@ a, =1, a3 =0,a; = -2 
® a, =0,0)=1,0, =2 
判断 线性 方程 组 是 否 为 一 致 方程 。 若 是 一 致 方程 则 给 出 相对 应 的 解 。 


1.36 $ 4 是 一 个 3x4 和 矩阵 ， 其 零 维 等 1。 证明 对 3 x 1 实 向 量 5 的 每 一 种 选 


H, 3 x 4 线性 方程 Az =b 均 是 一 致 方程 。 
1.37 ” 设 线性 方程 组 


By 十 Qi82 十 ajay = a} 
2 = a3 
Tı + Ah + G223 = ay 
27 — a3 
Tı 十 63T3 + a313 = a3 


By 十 ad4za 十 a2za = a} 


(1) 证 明 : 若 a1, 6z, 6, a4 两 两 不 相等 , 则 该 线性 方程 组 无 解 。 
(2) Ra, =a,=¢ Ma,=a,=-c, HH, c0 HEM 


一 1 1 
a= | 1 | ， a= | 1 | 
1 —1 
是 线性 方程 组 的 两 个 解 , 写 出 此 方程 组 的 通 解 。 


1.38 4S 入 取 何 值 时 , 线性 方程 组 


人 {a+3)zl + 22+ 223 =a 
3(a + La, + az, + (a + 3)a3 =3 


ag, 十 {a 一 1)za +43 =Q 


有 唯一 解 、 无 解 和 无 穷 多 解 。 当 方程 组 有 无 穷 多 解 时 , 求 出 它 的 通 解 。 
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1.39 a 和 8 取 何 值 时 , 线性 方程 组 
Z1 十 3rz 十 6zs 十 24 一 3 
T1 +T + 283 + 3ra = 1 
. 2) 一 57a — 10r; 十 12z4 = a 
3a, — £2 — Pxz + 15r4 = 3 
让 唯一 解 、 无 解 和 无 穷 多 解 。 当 方程 组 有 无 穷 多 解 时 ， 求 出 它 的 遂 解 。 
1,40 1 CARENE Aw = 为 
zı + 2r, 十 373 = 26 
324, 十 7zra + 10x53 = 87 
Qa, + ry + T23 = 73 
(1) 利用 高 斯 消去 法 求解 方程 。 
(2) 将 矩阵 A 的 第 了 SH ACE, 并 记 所 得 矩阵 为 4;。 证 明 (1) 中 求 出 的 方程 的 解 
可 以 表示 为 
z =|Ai/Al, j=1,2,3 
这 一 方法 称 为 求解 线性 方程 的 Cramer 法 则 。 
(3) 证 明 对 Ay ttn, = baxi 的 一 般 情况 , 若 |4| #0, 其 由 Cramer 法 则 求 出 的 解 
了 = [En En] 确实 满足 线性 方程 Ax = be 
141 假定 4 和 B 都 起 nxn HB, TPH A 非 奇 异 。 从 线性 方程 组 的 角度 证 明 : 
若 AB = O (ẸBE), W B= 0O。 
142 RAEM 
a, = (1,1,1,3]", ay = [~1,~3,5, 1)" 


aa = (8,2,-1,pt+2]7, aq = [~2,-6,10,p]7 


(2) p 为 何 值 时 ， 此 向 量 组 线性 无 关 ? 用 a ~ a, 的 线性 组 合 表示 a = [4, 1,6,10]T。 

(2) p 取 何 值 时 ， 该 向 量 组 线性 相关 ? 求 出 此 时 矩阵 [ai, az, aa, ad] 的 秩 和 一 个 极 大 
线性 无 关 的 向 量 组 。 

1.43 已 知 向 量 弓 


[i] ei] E] t 


试 分 别 求 出 满足 以 下 条 件 的 a,5,c 值 ; 
(1) b 可 由 ai,az,es 线性 表示 , 且 唯 一 。 
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(2) b 不 能 由 a,, az, a3 线性 表示 。 

(3) b 可 由 aj, ag, a; 线性 表示 , 但 表示 不 唯 - -。 并 求 出 一 般 表达 式 。 

1.44 SSM Amxn RK > = rank(4)。 证 明 : 4 A 分 块 为 

Ay A 
afin 划 

式 中 , rx r 矩阵 Ay, EDRR r WIERE, 则 Ago = Ag AT Aras (提示 : HE 
意 (Ay, Aa] AAT [An Aro] 的 了 7 行 的 线性 组 合 ， 即 有 [421, Ago] = FAnn A. 类 似 
dh, BME A 的 右边 nn 一 r+ 列 是 左边 7 列 的 线性 组 合 . ) 

145 令 两 个 向 量 相互 正 交 ,证 明 它 们 线性 无 关 。 

1.46 SCE A? = AÑ B? = B, EH BAIA A MIME. IE AB = B. 

1.47 WERE A 满 列 秩 , TAT AR. 证 明 : TA =O 意味 着 工 的 行 是 AT 的 行 的 线 


性 组 合 。 
1 —1 -i 
0 1 -2 
A= aye} aye} 1 
2 1 0 
起 一 组 正 交 向 量 。 


1.48 ”验证 向 量 组 
1.49 4 B = {v,, 02,03} Æ Euclidean 空间 R? 的 一 组 正人 交 基 。 给 定向 量 w € RP. 
试 确定 常数 a, az, 03 使 得 


U = GV, + agU + havg 


1.50 {EH Gram-Schmidt 正 交 化 方法 构造 子 空间 V = Span{v1, va v3} 的 正 交 基 和 
标准 正 交 基 , 其 中 


0 0 1 
v= 2 > V2= 3 > V3 二 1 
1 1 1 
Lh 1 0 


1.51 BS 3 x5 HERE 


用 MATLAB 函数 orth(A) 和 null(A) 分 别 求 矩阵 4 的 列 空间 Span(4 的 正 交 基 利 零 空 
间 Nul(4)。 

1.52 4 a fil y 起 Euclidean n 空间 R" 的 任意 两 个 向 量 , 证 明 Cauchy-Schwartz 不 
等 式 |zTy| < lælllyl (提示 : 观察 jm - cyl? >0 对 所 有 标量 c 成 立 。} 

1.53 a Aly $ Euclidean n 空间 Rr 的 任意 两 个 向 基 , 证 明 三 角 不 等 式 |e+yl] < 
Wc + lylo (提示 : 展开 le + yll?, 并 利用 Cauchy-Schwartz PER. ) 
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154 令 昌 = {v1,02,… ,Vn} 是 子 空 间 W 的 正 交 基 , H u 起子 空间 多 内 的 向 量 。 
证 明 : 4 u = ot 十 G2v2 十 … 十 Qnvn， 则 


lul? = lay)? + lag)? +--+ lanl? 


1.55 证 明 任意 -- 组 由 R 中 的 4 个 或 更 多 个 向 量 的 集合 不 可 能 组 成 R 的 正 交 基 。 
156 定义 变换 H: Ro R? 为 


a a =k] 


判断 H 是否 为 线性 变换 。 
1.57 > 
0.5 0.2 0.3 1 
p= [o3 0.8 e, s- f 
02 0 0.4 0 


假定 一 系统 的 状态 向 量 可 以 用 Markov 链 tp}, = Pag, k=0,1, 描述 。 试 计算 状态 向 
E zt za，… Eys 分 析 系 统 随时 间 的 变化 。 


1.58 TAERE% 
2 -1 2 2 
4 1 ~l 
A@)=| 3 a2 5 
1-23 2 


RAD, Cae: 按 任意 行 或 列 展开 行列 式 AG) HERREG of fo A. ) 
1.59 证 明 : 4 4 非 奇异 , 则 


A; 


A = |4all4s 一 434T Ad! 


A, 
As 

1.60 RER AT 和 BT 4 吾 ， 使 得 下 面 的 每 一 个 二 次 型 分 别 可 以 写成 oT Aw 和 
a’ Bo: 

(1) 72} + 142, + 503. 

(2) (wy ~ 222)? + (323 — T3)? + (62 — 43). 

(3) Q(x] + 0} + 1$) — (T183 + 295 十 7273)。 

(4) ay? + aga} + aat + b,£ £3 + byt 123 + baTaTae 

1.61 判断 下 列 二 次 型 的 正定 性 : 


(1) f = -22 一 8z — 628 + 2a, 29 十 271zs。 


(2) f = x} + 403 + 923 + 1509 — 2212o 十 47173 + 2ay 24 一 67o74 一 1273m4。 
1.62 证 明 : 
(1) # B 为 实 的 非 奇异 矩阵 , 则 A = BBT 正定 。 
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(2) |C| 40, W] A = CO" 正定 。 


1.63 证明: # a non 
Moe? + J Y legle 
i=1 i=ližj j=l 

正定 , 则 aon 
DD ates 
i=] j=l 
正定 。 
1.64 设 nxn (n > 3) Ee 
l a a 
al a 
A= : : 
a a 1 


当 a 取 何 值 时 , ER A 的 秩 为 m io 

1.65 ER AB = BA = O ( 零 矩 阵 ) 和 rank(A”) = rank( A), 证明 

{1) rank( AB) = rank(A) + rank(B). 

(2) rank(A*® + B*) = rank(A*) + rank(B*), 其 中 , k 是 某 个 整数 。 

1.66 $ Cnxn 十 一 任意 对 称 矩 阵 , 证 明 ; 存在 满足 AB = O 的 两 个 唯一 非 负 定 矩 
REA Al B, 使 得 C 一 4 一 至 。 

1.67 已 知 向 量 组 {2,,2,,---,2,} Pa, 40. $ apap ,9p-1 为 任意 常数 , HA 

Yi = Li+ Gp 1=1,2,..,p—1 


证 明 向 基 组 {y1,y2,… ,yy_1} 线性 无 关 的 充 要 条 件 是 向 量 组 {21,22 ep} 线性 无 关 。 
1.68 证 明 : # ATA = A, il] A= 47= A’, 
1.69 [4 设 
1 L 
K=K", K’, K1=0, | 引 -| J 
-3 一 3 
RH, 1 是 -个 元 素 全 部 为 1 的 向 量 。 计 算 下 列 值 ， 并 且说 明 为 什么 在 无 需 计算 K 的 情 
况 下 ， 可 以 得 到 下 列 值 的 原 内 : 
(1) K 的 阶 数 。 
(2) K 的 秩 。 
(3) K 的 迹 和 行列 式 。 
(4) K? 的 迹 和 行列 式 。 
(5) 矩阵 6K 7K + 37 的 迹 与 行列 式 。 
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1.70 假定 上 面 提 到 的 每 个 道 和 矩阵 都 存在 , 证 明 以 上 结果 ， 
() (A47 +I = A(A +I). 

(2) (Av! | B)! = A(A+ B)"'B = B(A + B)'A. 
(3) 1+ AB)'A=A(I+ BA)". 

(4) (A+B) = A'B RRE AB A= BAB. 
(5) A~A(A +B) A= B- B(A + B)'B. 

2.71 ”验证 分 块 矩阵 求 道 公式 (1.7.18) ~ 公式 (1.7.20). 
1.72 HERRAR (1.7.2) 分 别 计算 矩阵 


的 逆 矩 阵 。 
1.73 ”验证 分 块 矩 阵 的 求 逆 公 式 
A Ul (4- UDV)! -ATU(D-VATU)? 
v D| © |[-Dv(4-UD Vy: (D-VA™U)! 
1.74 ”验证 分 块 矩阵 的 求 逆 公 式 
A Ul (4- UDV)! -{A -~ UDV) U D! 
V D -(D-VAtu)!vat (D-VAtU) 


1.75 #Y =(AX+B\(CX+D)', RAY Ra X. 

2.76 ilbp363 24 X 是 随机 变量 的 矩阵 时 ,不 存在 X 的 散布 矩阵 。 与 之 不 同 ， 却 
存在 veo(X) 的 散布 算 阵 , 并 且 散 布 矩 阵 包含 矩阵 X 的 所 有 元 素 的 方差 和 协 方差 。 令 mw 
和 zi EER X 的 列 ， 它 们 的 协 方差 矩阵 为 


cov (x; 27) = My 


于 是 , 向 量化 函数 vec(X) 的 方差 - 协 方差 矩阵 var(vee(X)) 是 一 分 块 矩 阵 , HOPE 
My WA 
var(vec(X)) = {M,;} 
对 丁 My = mwV 的 特殊 情况 , 车 M = {m,;}, 证 明 
(1) var(vec(X)) = M 8 Vo 
(2) var(vec(TX)) = M & TVT”. 
(3) var{vec(XT)) =V@M. 


习题 129 


1.77 证 明 : 

(1) vee(ny™) = y 8 £o 

(2) vee(A & b) = vec(A) 8 be 

(3) vee(a,y3 8 Bmxn) = (pin 8 Fim)(@ @ vec{B))o 

(4) vee(Apxg 8 Brxn) = (To 8 Loin @ Fn) (vec(A) ® vec(B)). 
1.78 证 明 : 


vec( PQ) = (QT @ Pywec(Z) = (Q? & Dvec(P) = (I Q P)vec(Q) 


1.79 验证 (XA) = (vec(AT))Tvec(X) = (vee(XT))Tvec(A). R tr(X A) 关于 
veo(X) His 证明: 
gra) =AT 
1.80 if 4,G 和 五 分别 是 mxn,nxm 和 nxp MERE. 证 明 : 若 rank(A) = 
rank(AH), 则 GAH =H=>G=Ai。 
1.81 令 械 为 nxn 单位 矩阵 , Jarn 是 全 部 元 素 等 丁 1 AEM. Hat(n~-1b=0, 
证 明 (a — b) HI EIERE (a 一 DT 二 57 的 满足 定义 AGA = A BY XE PE. 
1.82 ”一 个 对 角 和 矩阵 H 称 为 Hermitian 标准 型 ,车 它 的 对 角 线 元 素 仅 由 0 和 1 组 
成 。 对 于 任意 一 个 正方 矩阵 A, 总 是 存在 非 奇异 矩阵 C 使 得 CA = 百 X Hermitian 标 
准 型 。 证 明 C = AT 是 矩阵 4 AK) SCHERER. 
1.83 $ 4mxn Al Roy, 是 两 个 复 和 矩阵 ， 并且 Nx, 是 一 满足 RN = O 的 任意 矩 
PE, HIRA n—rank(R), 记 
D= N(NHANAN) NAN 
E=A"— AMAD 


证 明 
(0) 78 ‘AMA REX At 
[a olk- f 
是 一 致 方程 。 
oE 


则 
© CP ÆRE OUER. 
® RCR" = 0. 
@ 4C14 HEBBE, BP (AC, AT? = AC, A™, 
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@ C, 是 矩阵 484 K OGM, 并 且 C AF 是 矩阵 A 的 广义 逆 矩 阵 (2511 。 


184 4 
0 -a ay 
T=| as 0 =a 
一 a2 ay 0 
证 明 —(a} + 03 + 03) T Æ T AY) NEE TS 
1.85 “利用 矩阵 的 满 秩 分 解 ， 求 矩阵 
1 2 -1 
1 24 3 
4-|3 -12 2|, B= 3 7 1 
5 40 -7 "3 = “4 
A) SUBIRERME AT 和 Bo. 
1.86 i KA=O0 fl K*= KK, 证明 矩阵 A ff) SURER AT = (A-K) 
187 BM K? =K, H Z` ÆR 2 = KAK E SORER. 证 明 : KZK 也 
是 ZA SE. 
188 RGR AM—N SOW. HEH: 它 也 是 矩阵 AG 的 一 个 广义 逆 矩 阵 , 当 
且 仅 当 G? 是 4 的 一 个 广义 道 矩 阵 。 
1.89 ”满足 Moore-Penrose 着 矩 阵 两 个 条 件 
AGA=A, GAG=G 
的 矩阵 G 称 为 矩阵 4 ERI YIEE (reflexive generalized inverse) [117-216], if 
AY: rank(G) = rank(4) 对 AGA = A Hor, 当 且 仅 当 加 是 4 的 一 个 自 反 广义 道 抵 阵 。 
1.90 $ 
I, U 
G=Q y vu P 
其 中 , 1, 为 单位 矩阵 ， 并 且 


raa =l al: O ASHE 


证 明 G 是 AM AR CRE. 
1.91 证 明 
(1) 所 有 左 和 右 道 矩阵 都 是 自 反 广 义 逆 矩 阵 ,它们 分 别 满足 Moore-Penrose 对 称 条 件 
4G4=4 和 G4G=G 之 中 的 一 个 条 件 。 
(2) 一 个 满 行 ( 列 ) BEBE 4 的 所 有 广义 逆 和 矩阵 AW 都 是 右 (£) BE. 
1.92 33x 1 fit a= (1,5, 7)? 的 Moore-Penrose WE MELD) 义 逆 和 矩 降 。 
1.93 证 明 4(4T4)-24T 是 AAT 的 Moore-Perrose ii KEKE. 
1.94 ”证明 关于 Moore-Penrose WEER FFE MAE (1) 和 条 件 (2) 等 价 ; 
()AGA=A, GAG=G, (AG)#=.4G, (GA)}#=GA 


习 题 131 


(2) A#AG = A*, GtGA=G* 
1.95 设 A ARRIERE, SPH M 是 A 的 Moore-Penrose WASHER. WEW: HERE 
M? 是 A? 的 Moore-Penrose WER. 


1.96 EATER 
1 0 -1 
A=| 02 22 
-14 53 


用 KL 分 解法 求 Moore-Penrose WER: At. 
1.97 ”分别 利用 弟 推 法 (算法 1.9.3) ADATE (算法 1.9.4) 求 矩阵 


1 0 -2 
0 1 -1 
Xs 1 1 
| 2-1 2 
的 Moore-Penrose iif Xt, 
1.98 Iik 
1[ 5 -4 -1 3 
G=aB +2 4 -2 6 
一 3 0 3 3 
确实 是 矩阵 
1 0 -1 
一 1 1 一 1 
A= -1 2 
1 1 1 


的 Moore-Penrose i 7H BE. 
1.99 证 明 : # As = 五 为 一 致 方程 , 则 其 通 解 为 


z= Afb+ (I - A A)z 


stp, At 是 4 的 Moore-Penrose WERF, JfH zx 为 任意 向 量 。 
1.100 令 矩 阵 A 和 B 是 使 得 矩阵 乘积 AB 存在 , 并且 B, = ATAB fil A, = 
AB, Bt, 证 明 
AB=A,B, 和 (AB)! =(A,B,)t = BIA 


ERARE Cline 建立 的 PA, 
1.101 SU EP, SISA, 定义 为 
U = {p(£) = ap +0,2 + G92” +agr°: a3 = —2ap + 3a, + ay} 
WH U 上 与 Ps 同 构 。 
1.102 证 明 满足 (I 一 A4)(I +A) = O 的 矩阵 4 AW ATER. 
1.103 设 Anen 为 对 合 给 阵 , 证明 B= S + A) AEREN, 
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1.104 已 知 
P,,(n) = tr (R&(n — 1)) 


At, R=E{a(nje4(n)} 是 M x1 SPREE e(n) MEE, FE 


Bn) ~ O(n — 1) + E ERO OOO 


其 中 , 0<A<1, 并 且 a 
Rin) = Z nizfn)zEfn) 


i=0 
SER AAS R 的 样本 估计 。 证明 
P.,(00) = tr (RB(oo)) = Hemo 
(提示 : RGR MFM ECR} 的 近似 。} 
1.105 证明: 对 于 任何 mx n 矩阵 4， 其 向 量化 疯 数 


vec(A) = (I, ® A)vec(I,) = (ATI,)vec(Zn) 


1.106 证 明 4 @ BB 非 奇 异 的 充分 必要 条 件 是 4 和 BB 分 别 非 奇 异 ， 并 证 明 (4 @ 
By = A8 B. 

1.107 证明 Kronecker 积 的 Moore-Penrose WERAK (A9 B)! = At 8 Bt. 

1.108 # A,B,C 为 相同 维 数 的 正方 矩阵 , 并且 CT = C, 证 明 


{vec(O))}T (A @ B)vee(C) = (vee(C))"(B @ A)vec(C) 
1.109 $ A,B,C 和 号 具有 适当 的 维 数 , 使 得 ABCD 满足 定 阵 乘积 定义 。 证 明 
tr( ABCD) = (vec(D™))™(C™ @ A)vec(B) = (vec(D))™ (A @ CT)vec(BT) 


1.110 $ A X mxm SEER, BA mxn tE, O= AB, H D=1,,-Cct. 


证 明 1A 
(ACY =CtAtir,, 一 (D4htDD4 
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在 实际 应 用 中 ,经 常会 遇 到 ~ 些 元 素 之 间 存 在 茶 种 关系 的 特殊 秆 阵 。 了 解 这 些 卸 阵 
的 内 部 特殊 结构 , 厂 助 丁 灵 活 地 使 用 这 些 和 矩阵 , 简化 一 些 问题 的 表示 和 求解 。 本 章 将 童 点 
介绍 一 些 比 较 常见 的 特殊 算 阵 。 为 了 方便 读者 更 深入 地 了 解 和 应 用 这 些 特 殊 窍 阵 ， 将 结 
合 一 些 实际 问题 , 对 其 中 .一 些 特殊 矩阵 加 以 详细 解说 。 


2.1 ”对称 和 矩阵 、Hermitian 矩阵 与 循环 矩阵 


虽然 第 1 ROBBEN REPEAL Hermitian ERE, 但 鉴于 这 两 种 邱 阵 的 广泛 存在 
及 用 途 , 有 必要 对 它们 专门 讨论 。 
对 称 矩 阵 4 是 个 其 元 素 ez 关于 诗 对 角 线 对 称 的 实 正方 和 矩阵, MA 
AT=A 或 ay =ay (2.1.1) 


对 称 矩 阵 具有 以 下 性 质 : 若 AR B 都 是 对 称 和 矩阵 , 则 AT = A, H AT, A™ (m 为 正 整 
数 ) A+ BE. ` 

满足 条 件 AT = -4 WENERA BORE. 显然 , 为 满足 反对 称 性 , 主 对 角 线 
上 的 元 素 必定 等 于 零 ， 即 反对 称 矩 阵 的 元 素 具 有 形式 : 


0， i=j 
aj = = (2.1.2) 
° (oe i#j 


反对 称 和 矩阵 具有 以 下 性 质 : 
O) 若 4 和 B 都 是 反对 称 矩阵 , 则 AT A+ BAER, mH A 为 对 称 
矩阵 (k 为 偶数 时 ) 或 反对 称 矩 阵 (k 为 奇数 时 ) 。 
(2) FRESAN A 都 可 以 分 解 为 一 个 对 称 短 阵 4 F(A + AT) 和 一 个 反对 称 矩阵 
ta- AT) 之 和 。 
SHARIR ay 全 为 零 的 矩阵 ,本 书 中 记 作 OQ。 对 角 和 矩阵 就 是 主 对 角 线 以 外 的 
元 素 全 部 为 零 的 矩阵 { 主 对 角 线 上 的 元 素 可 以 部 分 为 零 ),， 即 
d 0- 0 
Dale | age 213) 


0 Os dy 
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NARRA KER 
(1) MAREE A 


a, 0j feu ae ain 
d an a ün 
DA= 2 21 Gee 2 
0 dn] [äni Qn2 Ann, 
dhan diag ditin 
daaa dataz daa2n 
= : : =| iy] 
dananı dyly dr linn 
(2) 对 角 矩 阵 右 乘 A 
fan a … Gin] fa 0 
AD = a2) ona Gon dy 
[ani an … annj LO dp, 
diàn da t dpan 
dian dao © dpüz 
= : : . = [dja] 
[dian G2 加 onm 


(3) 两 个 对 角 和 矩阵 的 和 、 差 、 积 仍 为 对 角 和 矩阵 。 
中 心 对 称 矩 阵 (centrosymmetric matrix) XIX Xt PRAEME (cross-symmetric matrix) 
或 斜 对 称 矩 阵 (persymmetric matrix),， 有 时 也 简称 为 c 矩阵 ,定义 为 


Pig = Pr—j+in-it1? Vig =l2.--.0 (2.1.4) 


下 面 是 一 个 4 x 4 bOI: 


Pu Pi Pig Pia 

P= |p2 P2 Pa Pr 

Dsl P32 P22 Pia 

Pa Pal Por Pu 

BIL, nxn PEREA APART TEREP ORE, 也 是 其 元 素 关于 交叉 对 

角 线 对 称 的 正方 矩阵 。 WAZ, PORRER P 的 元 素 之 间 存 在 着 伸 对 称 关系 。 

中 心 对 称 矩 阵 具 有 以 下 性 质 。 

(1) 着 A PEE M AP 也 中 心 对 称 。 
K 

(2) 着 A, ECAR W 4 = DOA; 也 中 心 对 称 。 

(9) E Agen 和 Buy PONTE M AB 也 中 心 对 称 。 

(4) PASE A ERE AT 中 心 对 称 。 
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一 个 正方 矩阵 A = [ap] € C"*" BRAY Hermitian SURE, € A = AF, Hp, AF = 
(A*)? = [at]. 换言之 ， Hermitian WRA ARAR RERE 

Hermitian 4E I LA BLEEK: 

(1) ERE A 称 为 反 Hermitian 矩阵 , 4 A = - AN, 

(2) PREHIERE R 起 -个 元 这 满足 对 称 性 ry — ringa M nxn E 
TIEPE, 也 称 中 央 Hermitian FEF. 

(3) 中 央 复 共 箔 对 称 算 阵 的 一 个 特 味 子 类 是 双重 对 称 的 插 阵 ， 它 既是 关于 主 对 角 线 
SPRAY Hermitian 矩阵 ， 又 是 关于 交 义 对 角 线 对 称 的 交叉 对 称 矩 阵 ， 例 如 


spt opt 
Pir Tal fan T41 
Ta. Tea 732 "3 


R= : 
fai T32 Tea 721 
Tar Tar a Tu 
ETP Fo ry = rh 一 mn 一 从 -tn 41? 
Hermitian HERAA KEER: 
(1) 对 所 有 Ae cx, 矩阵 A+ AM, AAF Ail ATA 均 是 Hermitian HPF. 
(2) 47 A Æ Hermitian 和 矩阵, 则 AF 对 所 有 大 = 1,2,3,--- 都 是 Hermitian HERE. AF 
A 还 是 非 奇 异 的 ， 则 AT? 是 Hermitian 矩阵 。 
(3) Æ A 和 B 是 Hermitian 矩阵 , 则 oA + 5B 对 所 有 实数 a 和 8 均 是 Hermitian 
HEBE. 
(4) 对 所 有 Aco, A-— A" 为 反 Hermitian 矩阵 。 
(5) # A 和 B BR Hermitian 矩阵 W oA + 8B 对 所 有 实数 a 和 8 均 是 及 
Hermitian 矩阵 。 
(6) #7 A 是 Hermitian 矩阵 , Jl) jA G = V—1) 是 反 Hermitian 4ER- 
(7) Æ A ÆR Hermitian 矩阵 , W] j A 是 Hermitian 矩阵 。 
循环 矩阵 C 是 仅 由 n 个 复 值 元 素 经 过 适当 移 位 而 组 成 的 nxn 正方 矩阵 。 如 果 人 在 
范围 1 < i,j <n 内 抢 阵 元 束 基 有 关系 : 


-na Jer 一下， j-izo 
ents = {HO 了 0 (2.1.5) 


WARREN EE a TERE, JUM Cre 例如 

ca(0) eal1) ca(2) cn(3) 

cp(3) ca(9) ca(l) cr(2) 

ca(2) ca(3) cn(0) ¢p(1) 

nll) cn(2) cp(3) cp(0) 

观察 知 , 每 一 - 行 是 由 上 一 行 的 元 素 向 右 移 一 位 ， 并 把 最 右边 的 元 素 移 到 最 左边 构成 的 。 
类 似 地 , 我 们 可 以 定义 左 循环 矩阵 Cr， BI 


Cj) -{ 


Ca = 


ey(m+1—-i-j),  ftigntt 


a (2.1.6) 
e,(QQn+1-i-j), fti>n+. 
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下 面 是 4 x 4 左 循环 矩阵 的 一 个 例子 ; 
cr(3) cr(2) er(l) cz(0) 
a (e cz cr(0) cr(3) 
z er(1) eB) cr(3) cr(2) 
(0) cr(3) cr(2) e01) 
也 就 是 说 ， 左 循环 矩阵 的 每 一 行 是 将 上 一 行 的 元 素 向 左 移 一 位 ， 并 将 最 左边 的 元 素 移 到 
该 行 的 最 右边 组 成 的 。 


2.2 HK 


一 个 仅 第 个 元 素 为 1, 而 其 他 元 素 均 为 零 的 n x 1 维 向 量 称 为 单位 向 量 或 基本 向 
Æ (elementary vector), 记 作 ek。 例如 el = {1,0,… ,0jT, ez = [0,1,0,… ,0]T 等 。 
引入 Kronecker ô Hi 
6 -位 isk (2.2.1) 
* o, 其 他 
根据 定义 ,容易 证 明 两 个 不 同 的 基本 向 量 的 内 积 为 Kronecker 5 BR, 即 


Te 一 
i Er = Sit 


基本 向 量 在 和 矩阵 分 析 与 线性 代数 中 起 着 重要 的 作用 , 因为 很 多 特殊 矩阵 都 可 以 看 作 古 
由 基本 向 量 生成 的 。 最 典型 的 例子 是 ” 阶 单位 矩阵 n 由 基本 向 量 按照 顺序 el ea … ,en 
排列 而 成 ， 即 


e 


1 0 -~ @ 

=|? 1 Fl tenes seal 
H . n% 0 
0 0 1 


FRANE ERIR TETERE A, TSE A 的 数值 , 即 有 IA = AI = A. 
H nxn 单位 矩阵 的 维 数 已 清楚 或 不 必 强 调 时 , 常 省 略 表示 单位 矩阵 维 数 的 下 标 , 将 


HERE I. 
特别 地 ,对 角 元 素 均 相同 的 对 角 矩 阵 叫 做 数量 矩阵 ， 记 作 
d 0 
d 
D= =dI 
0 d 


GR, DA = AD = dA. 
由 基本 向 量 生 成 的 某 些 特 殊 和 矩阵 常 称 为 基本 矩阵 (elementary matrix). 在 文献 中 , 共 


有 两 种 不 同 的 基本 和 扼 阵 定义 。 
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L BABEL 1 
一 个 mxn 维基 本 矩阵 可 以 几 m x 1 REAR EG nx 1 基本 向 量 的 外 积 定义 为 Bleo 


BO = ee)? (2.2.2) 


式 中 , ol 表示 仅 第 ;个 元 素 等 1 L 其 他 元 素 全 部 为 0 的 m x 1 基本 向 量 。 办 此, 基本 
SERE BOO” 是 一 个 仅 (i) 元 素 等 于 1, 其 他 元 素 全 部 为 0 的 mm xn 矩阵 。 
在 这 种 定义 -k,， 基本 矩阵 具有 以 下 性 质 59， 
() 本 Bo 
D 4=》 vay er” 
SE 


(3) BYP AE? = apn BRO 

a) (poy =e 

{5) det (eye?) =0。 

2. 基本 矩阵 定义 2 

Xİ nxn 单位 矩阵 进行 初等 行 (或 列 ) 变换 得 到 的 矩阵 称 为 基本 算 阵 (401. (2964, [290], [240) , 
与 矩阵 的 三 种 初等 运算 (1, M, 了 型 初等 行 变换 ) 相对 应 , 可 以 引出 以 下 三 类 基本 算 阵 。 

1 型 基本 矩阵 Epp: 互 换 单位 矩阵 I, 的 第 p 行 和 第 4 行 得 到 的 矩阵 , 或 互 换 单位 
矩阵 的 第 p 列 和 第 a 列 得 到 的 矩阵 。 
开 型 基本 矩阵 By: 用 一 个 非 零 常数 a RUREK I, 的 第 5 行 (WRT) 得 到 的 
矩阵。 > 

了 型 基本 矩阵 Booo: 用 一 个 非 零 常数 a 乘 以 单位 矩阵 I 的 第 g 行 ORF). 再 
加 到 五 的 第 p 行 {或 列 ) BA. 

于 是 , 矩阵 Amen 的 初等 变换 可 以 用 基本 矩阵 表示 如 下 。 


BABE RK 

(1) | SAE AH By A RABE A 的 第 p 行 和 第 9 行 。 

(2) 了 型 基本 短 阵 左 乘 个 阵 4 央 Bay A RAHE 4 的 第 p 行 元 素 乘 一 个 非 零 党 
Ka. 

(3) TIRSEA SEEDED 4 即 Ego A RRM A 的 第 q 行 乘 以 非 零 常数 a 
后 , 青 与 第 p 行 相 加 。 

EAMG * 

(1) | 型 基本 矩阵 右 乘 4 即 AB, 表示 互 换 答 阵 A 的 第 p 列 和 第 Sle 

(2) 开 型 基本 矩阵 右 乘 4 即 AR) ETRE A 的 第 p 列 元 素 乘 一 个 非 零 常数 a 

(3) TRAE AB. AEG. og) RAGE A 的 第 q 列 乘 以 非 稚 常数 a 后 ， 
再 与 第 p 列 相 加 。 
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定理 2.2.1 对 应 丁 抢 阵 初等 变换 的 二 种 基本 第 阵 的 行列 式 分 别 为 
(1) det (Een) =-1. 
(2) det (Ba) =a, 


(8) det (Erag) = 1 
证 明 (1) 不 失 一 般 性 , 假定 p <q JP SADIE AE I, 的 第 p 列 和 
第 4 列 得 到 的 矩阵 ， 划 


1 o 0 
0 0 1 0| — Bott 
Eg = : 
0 工 0 0| 一 第 4 行 
0 0 0 1 
T 1 
第 p 列 第 9 列 


S Ega = [tujhe Th 行列 式 
det(E (p,q) = %qp(—1)"*? det(Ep 4) = (—1)**? det( Epa) 
RP, Epa 是 从 By.) 中 删 大 第 g 行 、 第 p 列 得 到 的 (n 1) x (一 了 FIERE, 注意 , 在 
-FERE Epa Ho 原来 的 第 g 列 变 成 第 g 一 1 列 (因为 第 p ARME) 但 原来 的 第 p 行 仍 
然 为 第 p 行 ( 删 去 第 4 行 , 不 影响 第 p 行 的 位 置 , 因为 p <q)o 因此 , 有 
det Bq) = ans(-DPte ) det (Bo axe-a) 
一 (Dr1detU 一 人 De 


RP, Epyro- 是 从 (n — 1) x(n- HEME Epa RUPE p 行 、 第 9 - 1 列 得 
到 的 矩阵 ， 它 恰好 是 一 个 (mn 一 2) x (n 一 单位 矩阵 。 将 det( Bo ) = (1P 代入 
det(Eypq)) = (1)? det(Ep q) 立即 得 det(Ep q) = (-1?t#7 = 一 1。 

(2) 和 (3) 的 证 明 比 较 简单 ， 留 给 读者 作 练习 。 E 

利用 定理 2.21, 可 以 得 到 下 面 的 重要 结果 。 

定理 2.2.2 nxn 矩阵 A 互 换 任意 两 行 (RIN) 得 到 的 矩阵 A, co) 的 行列 式 与 原 
矩阵 A 的 行列 式 存在 关系 式 : 

det (Agza) = — det(A), Ypa 

证 了 明 ”对 于 行 互 换 知 阵 Ag ig) = Ep A HIAR det( 4B) = det(A) det(B) 

及 定理 2.2.1, 立即 有 
det (Aga) = det (Eoo) det(A) = — det(A) 
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同 理 , TITRE ho = AL Gq) 有 
det (Ay (g)) = det(A) det (Eep) ) = — det(A) 


这 就 证 明了 本 定理 。 图 
推论 2.2.1 


det(E,B,,_, ++ E, A) = det(E,) det(E,_1)...det(E,) det(A) 


det(AE,E, ++: Ep) = det(A) det(E,) det(E,) ---det(E,) 
有 意思 的 是 , AAEM, 很 容易 证 朋 PIR MMAMT IAG TS. 
.推论 2.2.2 8 Ansa 为 奇异 矩阵 , 则 det(A) = 0。 
证 明 利用 初等 行 变换 ,可 以 将 奇异 矩阵 A 化 成 行 阶梯 型 ,并且 最 下 而 - -行为 零 行 
向 景 。 换 言 之 ,存在 一 系列 基本 托 阵 B Eoo, Ep 使 得 ELE,» EA 为 一 行 阶梯 
AGE, 其 最 下 面 ~ 行 元 素 全 部 为 零 。 因此, 行列 式 


det(E Ep1- E, A) =0 
由 推论 2.2.1， 上 式 即 为 
det(£,} det(E,_,)---det(#,)det(A) =0 


但 由 于 基本 矩阵 的 行列 式 不 等 于 零 , 故 上 式 意味 着 det(A) = 0. 是 


2.3 ”置换 矩阵 、 互 换 矩 阵 与 选择 矩阵 


与 单位 矩阵 密切 相关 的 是 距 换 第 阵 、 交 换 矩 阵 、 互 换 矩 阵 利 移 位 矩阵 。 这 四 种 算 阵 
出 0 和 1 组 成 , 并 且 每 行 各 每 列 都 只 有 一 个 韭 零 元 素 1， 但 非 零 元 素 1 所 处 的 位 和 
o 可 以 说 , 单位 矩阵 、 辕 换 和 矩阵 、 交 换 矩 阵 、 互 换 矩 阵 和 移 位 矩阵 都 基 由 基本 向 量 的 
排列 而 生成 的 。 


2.3,1 ”置换 矩阵 与 互 换 矩 阵 


定义 2.3.1 “一 个 正方 矩阵 称 为 兽 换 矩阵 (permutation matrix)， 若 它 的 每 一 行 和 每 
一 列 有 一 个 且 仅 有 一 全 非 零 元 素 1。 

EREE P 有 下 列 性 质 0 。 

(1) (Pmxnj7 = Paxme 

(2) PTP = PPT =1, Xw EERE EEEE. 

(3) PT= P 

(4) PTAP 与 4 具有 相同 的 对 角 线 元 素 , 但 排列 顺序 可 能 不 癌 。 


只 
到 

同 

[F] 


都 
不 
不 
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例 2.3.1 给 定 ~- 个 5x4 短 阵 


ay, Ql2 013 14 
Q21 432 @z3 O24 
A= |as as? 033 Us4 
Gar Gaz Gag O44, 


营 令 置换 矩阵 
0007 00001 
0100 00100 
Py= ， Ps=/0 1000 
1000 
0010 00010 
10000 
WE 
Q51 Q52 053 Aga a i2 Ay O13 
a31 a32 33 O34 G24 an2 Q21 023 
PA — |an a G23 a]; AP, = |ass asa asl ass 
Qal Qa2 Qag 044 Gag Q42 Ag, Q43 
44, 442 %3 Gua, 5a G52 Qsl 53, 


就 是 说 , AMATO A, 相当 于 将 A 的 行进 行 重新 排列 ; 而 用 置换 矩阵 右 乘 A 
相当 于 对 A 的 列 进行 重新 排列 。 行 或 者 列 新 的 排列 顺序 由 置换 矩阵 的 结构 所 决定 ， 

pxq 曾 换 矩阵 可 以 是 9 个 px 1 基本 向 量 e1,ez,… ,es 的 随意 排列 。 如 果 是 有 规则 
的 排列 ， 置 换 矩 阵 便 演 变 为 几 种 特殊 形式 的 警 换 矩阵 ， 它 们 在 矩阵 分 析 与 应 用 中 经 常 被 
使 用 。 

显然 ,单位 矩阵 就 是 一 个 特殊 的 置换 矩阵 。 置 换 矩 阵 还 有 另外 三 个 特殊 形式 : 交换 
HERE, BRE SB. 

L RARER 

如 第 1 章 所 述 , 交换 矩阵 Kon 定义 为 满足 K mn Vec( Amyn) = vec( AT) 的 特殊 党 换算 
阵 。 这 种 托 阵 的 作用 是 交换 mn xl 向 量 的 元 素 位 置 , 以 便 使 得 变换 后 的 向 量 天 wsvec(4) 
与 vec(AT) 一 致 , 故 称 交换 托 阵 。 


2. ARER 
HERJER (exchange matrix) 常用 符号 J KR, 定义 为 
0 1 
J= 1 2.3.1) 
1 0 


它 仅 在 交叉 对 角 线 上 具有 元 素 1, 而 所 有 其 他 元 素 全 等 于 零 。 互 换 矩 阵 又 称 反射 矩阵 (re- 
flection matrix) 或 后 向 单位 矩阵 (bachward identity matrix). HR, TMT LAE 


基本 向 量 的 反 向 排列 fen en1,… ,elj。 
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HAAN ATE, 互 换 矩 阵 J 了 可 以 将 - -矩阵 的 行 或 列 的 顺序 反 转 ( 互 换 )。 这 就 是 术 
诸 “ 互 换 矩 阵 ” 的 涵义 。 具 体 说 来 , 用 mxm ERIE J, 左 乘 m x n BE A, 将 使 4 
的 行 的 顺序 反 转 (相对 十 中 心 水 平 轴 互 换行 的 位 置 ): 


Omi Am2 ` amn 

Un 和 = | : i (2.3.2) 
an 022 ë > Am 
Qi Qi > Qin 


而 用 J, GR m xn ERE 4， 则 使 4 的 列 序 反 转 OUI FE OE HRH ERRI 


E) A 


Qin U Bq Ay 
Ag, =|" 0 Gt (2.3.3) 
amn ams ami 
容易 验证 : 
JT2—JI=—I (2.3.4) 
J =J (2.3.5) 


BER EMTS (involuntory preperty)j， 后 一 个 性 质 是 互 换 矩 阵 的 对 
称 性 。 也 就 是 说 , DRE AT 
第 1 章 已 介绍 过 ， 交 换 矩 阵 上 只 有 人 性质 KT, = Ki = Kame 显然, Homan, WA 
KI = K; = Kpn 这 意味 着 
B= Kun nn = Inn (2.3.6) 
Kl, = Ky, (2.3.7) 


BOL MT SR EER RE EA A A 

MATLAB 函数 flipud(A) 和 fiplr(A) 分 别 将 矩阵 4 的 行 和 列 的 顺序 翻转 , 即 JA = 
flipud(A) 和 AJ = Hiplr(A)。 

特别 地 , 当 用 m x m ERER Jn ARER m x n JERE A, 然后 再 用 xm BRE 
阵 Jn AR mx n EE TA, 则 有 


a, 


üm, Omni ml 
mn emir ”gm 一 11 
JnAT, = . ` . (2.3.8) 
Alm Girl aa aa 


在 维 数 清楚 时 , 将 省 去 了 矩阵 的 维 数 下 标 。 与 矩阵 相 类 似 ，vre REE c 的 元 素 
顺序 反 转 , 而 TI 使 行 向 量 ez 的 顺序 反 转 。 
容易 证 明 , E RARE, 则 RT = JRJ 和 R= IRS. 
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AHH, PRAHA R= IRI, TH PRBS RMI R= JR*J。 
Hp RAPE ARIE (n = 2r) 时 , 它 可 以 分 块 为 下 列 形 式 : 


_[ A B 
Row [sees 7 


H, AA B 总 无 特 你 结构 的 一 般 > xr SPE. K, AACE APA (n = 2r + 1) 时 ， 
中 央 对 称 算 阵 可 以 分 块 为 


A g B 
Roa = | z" a æJ 
J. 


BT J£ JAI 


式 中 , A A B Æ- MER r xr FEE, 了 是 >xr 反射 矩阵 , 2 ter x 1 AH, ma 为 标量 。 
3. FAAEE 
nxn 物 位 矩阵 (shift matrix) 定义 为 


010. 0 
001. 0 

P=|: ioios i (2.3.9) 
0008-1 
100- 0 


换言之 , 移 位 矩阵 的 元 素 pin = 10 < i n 一 1), py =1 KREWE. EA BRE 
阵 可 以 用 基本 向 其 表示 为 P= [enep enlo 

移 位 矩阵 乃 古 因 其 能 够 使 别 的 矩阵 的 首 行 或 者 最后 一 列 移动 位 曾 而 得 和 名。 例如， 对 
一 个 mxn 矩阵 A, AE ACRE m x m 移 位 短 阵 Pans W 


al Aa azn 

G31 032 Aan 
Pp på = : 

Omi Am2 ` Omn 

A ol U Qin 


相当 于 将 矩阵 4 的 第 1 行 移 位 到 第 m 行 下 面 。 类 似 地 , ELR n x n BERE Pn W 


Mn Q U And 

Am 21 7 And 
AP,=|. : : 

Ginn îmi Amni. 


相当 于 将 矩阵 4 的 第 n 列 移 位 到 第 1 列 前 面 。 
穿 易 看 出 , 与 正方 的 互 换 矩阵 J, 和 交换 矩阵 KK 不 同 , 移 位 矩阵 既 不 内 有 对 合 性 ， 
WARN PEE. 
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2.3.2 ”广义 置换 矩阵 
考虑 -上面 的 观测 数据 模型 
ælt) = As{t) = J aiesi( (2.3.10) 
1=1 
+, a(t) = [si 人 (的 sz 的 sn Rois a: A 是 -个 mx n BRR 
(m > n) 表示 信和 与 的 混合 过 程 , BATES TE ERE. SCE RE: 如 何 
仅 根据 m 维 观 测 数 据 向 量 e(t) 恢复 维 源 信号 向 量 s(t)。 这 个 问题 称 为 盲 信 号 分 离 战 者 
数据 压缩 (m HE n H AN) 这 里, RH B” RANAN: 源 信号 s(t), s20) 8 (8) 
不 可 观测 , 信号 如 何 混合 林 知 (BEERE A RA) 
认 信 号 分 离 问 题 的 核心 是 混合 矩阵 A AO SGM At = (ATA) AT 的 辨识 ， 因 
为 源 信号 向 蜡 很 容易 利用 s(t) = Alet) 恢复 。 然而 , 混合 矩阵 的 辨识 存在 两 种 模糊 性 。 
(1) 观察 知 , FUE SAETH i 个 和 第 j 个 信号 交换 顺序 , 并 量 混合 矩阵 4 的 第 
E 列 和 第 了 列 也 交换 位 置 的 活 ， 则 观测 数据 向 量 不 变 。 这 说 明 , 仅 根 据 观 测 数 据 
向 量 ， 是 不 可 能 辨识 源 信号 的 排列 顺序 的 。 这 种 模糊 性 称 为 分 离 信号 的 排序 不 
确定 性 。 
(2) 由 观测 数据 模型 易 知 


a 
alt) = 2 g mel 
1 % 


RAR, EE ag bt, RN TREO aS s) 的 精确 幅 值 。 这 种 模 
糊 性 称 为 分 离 信号 的 幅 值 不 确定 性 。 

虽然 存在 分 离 信号 的 排序 不 确定 性 利 幅 值 不 确定 性 ,但 是 从 信号 分 离 的 角度 看 问题 ， 
这 两 种 不 确定 性 是 允许 的 ， 内 为 原 米 泥 合 的 信号 已 被 分 离开 ， 而 此 一 个 夯 定 的 广度 两 子 
的 误差 最 多 只 影响 信号 的 初始 相位 ， 并 不 影响 信号 移 波 形 。 信 号 的 波形 通常 保留 了 信号 
的 有 用 信息 。 

由 于 讶 信号 分 离 存 在 分 离 信 号 的 排序 不 确定 性 和 幅 值 不 确定 性 ， 所 以 辨识 出 来 的 混 
合算 阵 会 相应 存储 两 种 不 确定 性 : 各 列 排序 的 不 确定 性 和 每 列 元 素 可 能 相差 一 个 同 定 的 
常数 倍 。 矩阵 列 排序 的 不 确定 性 很 容易 利用 置换 算 阵 刻画 ,而 矩阵 列 排序 的 不 确定 性 和 
每 列 元 素 的 倍数 误差 这 两 种 不 确定 性 则 可 以 通过 广义 兽 换 矩阵 一 并 描述 。 

定义 2.3.2 ”一 个 正方 矩阵 称 为 广义 曾 换 矩阵 (generalized permutation matrix), 简 
称 9 矩阵 , 若 其 每 行 和 每 列 有 一 个 并 半 仅 有 一 个 非 零 元 素 。 

RRENA, MRA RE ACE (或 右 乘 )， 则 不 仅 使 矩阵 A 的 行 (或 列 ) 进 
行 重新 排列 ， 而 六 每 行 (或 列 ) 的 元 素 还 同 乘 一个 比例 因子 。 例 如 


0 0 0 0 al fay as a3 ad Qs, AG5, AAs, Als, 
0 0 8 0 OJ |an az az aos Bası paa Bass faz 
0O y 0 0 OJ Jas; as 433 G34) = |Yaz Yaz Yars Yax 
0 0 DO A Of faq, aaz as aa Aag Alaz M43 Alga 
p 0 O 0 OJ fas: asz Qs 054 Pa Paiz pal3 Pan, 
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容易 证 明 ,，- 个 正方 矩阵 是 9 矩阵 ， 当 用 仪 当 它 可 以 分 解 为 一 个 置换 答 阵 和 一 个 非 
APRA AER, 即 有 


G=PD (2.3.11) 
AP, D WARE EIST AKERS. 例如 


0000 a] [0 00 0 1] [p 0 
00806 00100 y 
G=|0 y0 0 of=|0 1000 8 
000A 0 00010 à 
p0000 10 0 0 0 fo a 


回 到 刚才 的 言 信号 分 离 问题 ， 易 知 其 核心 问题 即 是 辨识 PDA, 然后 利用 a(t) = 
PDAtz(t) = GAiz(t) AEBS, 其 中 , P 利 DD 分 别 是 轿 换 算 阵 和 对 角 和 矩阵 , 而 
G= PDA) SRE, 

2.3.3 ”选择 矩阵 


MAAN, HFR (selective matrix) 是 -一 种 可 以 对 某 个 给 定 矩 阵 的 某 些 行 或 者 某 
些 列 进行 选择 的 矩阵 。 以 m x N 矩阵 


ai) m) @(N) 
_ @y(1) 222) ---  @(N) 
onll) Enl?) o EN) 


为 例 。 令 
Fy = Emob0n- 直 ， Ja = [Omis Im] 
是 两 个 (m-1) x m HERE, RP, Imi 和 Oni 分 别 是 (m 1) x (m — 1) 单位 矩阵 和 
(m 一 1) x1 FRE. 
直接 计算 , 得 


21(1) m1(2) + 2,(N) 
æa(1) za(2) (NY 
X= : : : 
Emil) Ema) + Eal) 
wall) za(2 © volN) 
wall) wa(2) © æ3(N) 
IX = : : : 
oo mn + BN) 
即 是 说 , 矩阵 JX 选择 的 是 原 矩 阵 X 的 前 m 一 1 行 , 而 矩阵 JX FPL BE X 的 
Fim-1F. 
类 似 地 ， 若 令 


Iy- On. 
nip fel 
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是 两 个 N x (N — 1) SEE, 则 


wl) ma o N-D 
XJ, = w(t) (2) a waN 1) 
Eml) zm(2) > BalN— 1) 
zi 2(8) o N) 
XJ, = #2(2) #2(3) aa wa(N) 
wl?) Eml) ne(N) 


言 之 , 矩阵 XT, 选 择 的 是 原 答 阵 X 的 前 N -1 列 , TIE XJ, ROP RIE 天 的 
后 NN 一 1 列 。 


2.4 正 交 矩阵 与 本 矩阵 


向 量 zuza，… ,zk EO" 组 成 一 正 交 组 , 若 efe =0,1 i<j S ko 此外, BALL 
还 是 归 一 化 的 , EI ata, = 1, = 1,2,…- 大 ， 则 该 正 交 组 称 为 标准 正 交 组 。 

定理 2.4.1 一 织 正 交 的 非 零 向 基 是 线性 无 关 的 。 

证 明 假设 {x1, x2,… ,zk} 是 一 正 交 组 , 并 假定 0= yw, Hagg t tatg 本 


是 有 

kk k 

0=0%0 =S° ajage; = J Joa eie 
i=1 


i=l j=l 


k 
为 向 量 是 正 交 的 , XA sfe > 0, 故 JO lo eie = 0 的 条 件 是 所 有 jasl? = 0 即 所 有 


ay = 0s ATI {22a sy) 是 线性 无 美的 。 n 
定义 2.4.1 一 实 的 正方 逢 阵 Q e R 称 为 正 交 矩阵 , 若 


QQT =QTQ=1 (2.4.1) 

一 复 值 正 方 矩 阵 Ue CP" 称 为 西 矩阵 ， 若 
yu” =UV =I (2.4.2) 
KER Qurman WAE EZHEL (semi-orthogonal matrix), FE HME QQ™ = I 或 


者 QTQ = I。 类似 地 , HIERE U mon PRA G PERE (para-unitary matrix), 苦 它 只 满足 
UU" =1,, 或 者 UYU = Ino 
在 有 些 文献 (例如 文献 [143] 等 ) 中 ， ETE CREPE BRK BRE EEPE (orthonormal 


matrix)。 


由 于 正 交 和 矩阵 事实 上 就 是 实 的 本 矩阵 , 所 以 下 面 只 讨论 西 矩 阵 。 
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定理 2.4.2 (AMHR) #UEC™™, 划 下 列 叙 述 等 价 ; 
(1) U EREE: 

(2) U 是 韭 奇异 的 ， 半 且 U" = UT, 

(3) VU” = DID =F; 

(4) UF EPEE: 

(5) U = [aa ++ ty) 的 列 弓 成 标准 正 交 名 ， 即 

l, i=} 


uta, = 6(i - j) = k Ai 


(6) U 的 行 组 成 标准 正 交 组 ; 
(7) 对 所 有 xe C" nH, y = Ue 的 Euclidean 长 度 与 æ 的 Euclidean KEHN, 
BT yty = zHz。 

证 明 和 叙述 (1) 意味 着 叙述 (2), 因为 UT EHEER U PE RIER I he 4E 
阵 ， 丁 矩阵 的 定义 保证 了 ZE BRAM. A UH = UN} 师 边 分 别 左 乘 和 右 乘 U, H 
得 UU" = UI 和 USU = 所 以 叙述 (2) 意味 着 叙述 (3)。 因 为 (CE)E =U, BR 
(3) 意味 着 UF 满足 是 西 矩 阵 的 必要 条 件 ， 即 叙述 (3) 意味 着 叙述 (4)。 由 丁 以 上 每 个 推 
HATAREE, MARE (1)~ BUR (4) 等 价 。 WIERE RANIG, A u, 表示 
U 的 第 i 列 , 那么 UTU = 了 就 意味 着 


ha [O 37i 
K l, j=i 


因此 , UFU = 7 RI PRE, U 的 各 列 是 标准 正 交 组 。 这 就 证 明了 叙述 (1) SR 

述 (5) 等 价 。 同 理 可 证 叙述 (1) 与 叙述 (6) Fite BUA (1) 与 叙述 (7) 的 等 价 关系 的 证 明 

比较 复杂 ， 感 兴趣 的 读者 可 和 参考 文献 [224]。 国 
车 线性 变换 矩阵 A AAMER, 则 线性 变换 Aw 称 为 西 变换 。 酉 变换 具有 以 下 性 质 。 
(1) 向 蕊 内 积 在 车 变换 下 是 不 变 的 , BI 


(x,y) = (Ax, Ay) (2.4.3) 
这 是 因为 (Ax, Ay) = (Ax)! Ay = cH AM Ay = sty = (x, y)0 
(2) LAC TER KEER, 即 
Aael? = lll}? (2.4.4) 
RA || Awl? = (Aw, Aw) = (x, x) = |æ? o 
(3) 两 个 向 其 的 夹 角 在 酉 变换 下 也 是 不 变 的 , 即 


(az Ay) __ toy} 
[4aiiAvl Telli 


这 十 西 变换 前 两 个 性 质 的 综合 应 用 结果 。 


cos@ = (2.4.5) 
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arm 维 向 量 空间 到 m 维 向 量 空间 的 线性 变换 的 概念 可 以 推广 为 mm 维 向 其 空间 到 m 维 
向 量 空 间 的 线性 变换 。 作 为 西 变换 的 一 个 推广 , 即 可 得 到 子 西 变换 (subunitary trnsforma- 
tion), MNS Gt 和 dy 分 别 表示 m 维和 n 维 向 量 空间 的 内 积 。 与 之 对 应 的 向 最 


范 数 分 别 用 外 |。 和 .| 表示 。 
定义 2.4.2383] m xn 矩阵 A 称 为 部 分 等 距 变 换 (partial isometry transformation) 


BY AER, 苦 
læ, — alla = At — Aszllm Voi, za € C(A*) (2.4.6) 
RFNA 
(21,82) = (AD), Aten, YE18 €C(A*) (2.4.7) 


RP, C(A*) 表示 和 矩阵 4# 的 列 空间 , 而 4# 是 矩阵 A 的 伴随 矩阵 ， 满足 


(AT, Y)m = (AB yn (2.4.8) 
西 矩 阵 的 行列 式 的 值 等 本 1 或 -1, 或 者 绝对 值 等 于 1, 即 
|det(A)| = 1， A J HERE (2.4.9) 
证 明 如 下 ; 根据 行列 式 性 质 知 , I ETS, 有 
det(4H4) = det(A") det(A) = det(A) det(A) = [det(A)]? 


HAERE A 为 西 矩 阵 时 , ANA = I, 而 单位 抢 阵 的 行列 式 等 于 1。 因此 , 上 式 变 成 det(4) = 
det(T) = 1, 即 得 |det(4)| = 1。 
总 结 前 面 几 节 的 讨论 , 表 2.4.1 归纳 出 了 实 向 重 、 实 和 矩阵 与 复 向 量 、 复 矩阵 之 问 的 性 


质 比较 。 


#241 ” 实 向 量 、 实 矩阵 与 复 向 量 、 复 矩阵 的 性 质 比较 
实 向 时、 实 钊 阵 Rim, BEE 


GK: fe = ytte | aM Hel = yle + let leal? 


转 置 AT=|a,), (AB) = BTAT | KERE: AF = [a5], (AB)! = BHAH 


WH: (ey) = 2Ty 内 积 : (æ, y) = y 

Eth: eTy =0 正 交 性 : zHy =0 

TASER: AT = A Hermitian #iff: AY = A 

ERHI: QT = QT? HHR: UH = Unt 

MERN: A=QzQT=Quq-* | 特征 值 分 解 , A=UZUN 一 LED 
范 数 的 正 交 不 变性 : |Qz|| = Hell WAKAAE: Uel] = lell 


内 积 的 正 交 不 变性 : (Qr, Qu) = (ey) | 内 积 的 西 不 变性 : (U2, Uy) = (e, y) 
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定义 2.4.3 :个 满足 吾 = USAU 的 矩阵 B e Crxn 被 称 为 是 与 Ac Crxn 西 等 
价 的 。 如 果 U 取 实数 (因而 丰 实 正 交 的 ), WK B 是 与 4 正 交 等 价 的 。 
定理 2.4.3 É nxn KBE A = [a] Al B= [bp] 是 西 等 价 的 ， 则 


SOY by? = > la? 
t=1j=1 


izi j=l 


证 明 AUB SRI SY lyt = tr(AM A). At, 只 要 证 明 tr(BHB) = tr(A”A) 
i=l j=l 
即 可 。 TREO, 所 以 若 4 和 上 B 是 西 等 价 的 , 即 B= UM AU, WI 


tr(B™B) = tr(U" ANUU" AU) = t(U" AM AU) =tr(4a4)， 从 而 定理 得 证 。 L] 
定理 2.4.3 说 明 tr(AMa) EARTE, 即 (AMA) = (BB), HAR B H 
等 价 。 


定义 2.4.4 SRE 4 < Cnxn 称 为 正规 矩阵 (normal matrix), # AFA = AA", 
定理 2.4.4 第 阵 4 e Cnxn 是 正规 矩阵 ， 当 呈 仅 当 存在 nx n HERU, EAE 


U* AU = diag(X1, Xo, An) (2.4.10) 


TEAR ”首先 对 任何 矩阵 A < Cnxn 利 任意 背 窍 阵 V ecer, 车 B= V"AV, WA 
易 验证 BBY = B7B, 即 BRIM. 现 令 U 二 一 个 酉 矩阵 ,使 得 UN AU = 工 为 
EZA. Ti, AAY = ATA 成 立 ， HHRH TTH = THT。 + LORE 的 元 
BN tge WA ty =0,Ve> js BI 


t = tg 7 Sfm =0, ty = ta = = tan =h tan =0 


由 此 知 矩 阵 工 ARAE RZ ET ARAE, 则 了 TH = THT R AEE A 


为 正规 矩阵 。 | 
容易 证 明 ，Hermitian HEF. # Hermitian ERFA AEREA T CREE. 


“PHC T UAE oT ee P, 
(2) Amxm NEER © 4 的 列 是 标准 正 交 的 向 量 。 
(2) Anxm JEER © A 的 行 是 标准 正 交 的 向 芝 。 
(3) Amxm 为 西 矩 阵 @ AAT = ABA = Im 

e AT 为 酉 矩阵 

< A" 为 西 矩 阵 

< A UAE 

e AT HEEE 

e A ANIE, i=1,2, 
(4) Amem HXH: A WAER <> A 为 正 交 矩阵 。 
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(5) Anum: Bmxm SHER > AB 为 西 矩阵 。 

(6) 若 Amem 为 酉 矩阵， 则 

@ det(A) 的 绝对 值 等 于 1。 

@ rank(A) = me 

® A IERIE, 即 AAT = AMA, 

@ 和 为 4 的 特征 值 |X|=1。 

© Bryn > NABls = 1Blle. 

© Bnxm > ||BAlle = ||Bllrs 

© zmx! > |As] = [lelle> 

{7) 4 Amam Bnxn N AHERE, W 

中 ASB AHERE. 

@ ASB HEJER. 

一 个 对 角 元 素 只 取 +1 和 -1 两 种 值 的 N x N 对 角 和 矩阵 称 为 符号 矩阵 (signature 
matrix)。 利 用 符号 矩阵 , 可 以 引出 与 正 交 和 矩阵 相仿 的 7 正 交 算 阵 的 定义 。 

定义 2.4.5 $J HN xN 符号 矩阵 ,满足 


QJIQT =J (2.4.11) 
的 N x N 矩阵 称 为 J 正 交 矩阵 (J-orthogonal matrixj， 或 称 超 正规 矩阵 (hypernormal 
matrix). 
由 符号 矩阵 的 结构 特点 知 ,满足 
Tin Ye T Tm orp-m] 
Q O(N-m)xm Tv-m Q= Ow-m)xm Iyam (24-12) 


的 NN x N JER Q 也 符合 J 正 交 矩阵 的 定义 。 

由 定义 易 知 , 妆 符号 矩阵 取 单位 和 矩阵, 即 了 = 工时 ,> UCR HY IEC. A 
此 , 更 确切 地 说 , 正 交 甜 阵 实质 上 是 单位 正 交 给 阵 。 

J 正 交 矩阵 具有 以 性质。 

O J EXER Q ARH, 其 行列 式 的 绝对 值 等 于 1。 

证 明 如 下 : 取 式 (2.4.11) 两 边 的 行列 式 , 有 


det(Q) det(J) det(Q7) = det(J) 
即 有 det(Q) det(Q™) = 1, 因为 det(J) 等 于 +1 RE -1 (取决 于 对 角 元 素 取 -1 的 个 数 )。 
但 是 ， 由 于 det(Q™) = det(Q), 故 [det(Q)| = 1, 即 J 正 交 矩阵 非 奇 异 。 
(2) 任何 一 个 N x N 维 J EZER Q 也 可 以 等 价 定义 为 


QITJQ = 了 (2.4.13) 
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证 明 如 下 ; 容易 验证 J = Iyo H QJ 左 乘 定义 式 QJQT =J, 直接 得 
QI(QIQ™) =QIJ =Q 


由 于 J 正 交 矩阵 站 奇异 ， 故 上 式 两 边 可 以 同时 左 滋 JQ- 从 而 有 (QJQT) =J. TE 
意 到 J =I, 故 上 式 直 接 给 出 式 (2.4.13)。 
综合 式 (2.4.11) 利 式 (2.4.13), RIG 


QTIQ =QIQT (2.4.14) 


这 -对 称 性 称 为 “ 双 曲 对 称 性 ”(byperbolic symmetry). 
矩阵 
vot 
QaI-2 (2.4.15) 


称 为 双 曲 Householder 矩阵 。 这 种 矩阵 起 Bunse-Gerstner [eal 在 研究 特征 值 计算 时 定义 
的 。 显 然 , 若 J =I, WXL Householder 给 阵 退 化 为 Householder 矩阵 。 


2.5 WEES = ee 


三 角 和 矩阵 是 矩阵 的 分 解 与 变换 的 标准 形式 之 一 , 它 又 是 带 型 矩阵 的 一 个 特例 。 
2.5.1 REE 


满足 条 件 a,; = 0, |i 一 站 > k 的 矩阵 4 e Cmx" 称 为 带 型 矩阵 (banded matrix). 4F 
别 地 , 车 aij =0vi>5+p, 就 称 A RA PAE p: A a = 0,07 > ita, WERE A 
具有 上 带宽 g。 下 面 是 一 个 了 x 5 WR, 它 具 有 下 带宽 1 和 上 带宽 2: 


ecooexx 
Soooxxx 
Ooooxxxx 
Soxxxxo 
Oxxxxoo 


其 中 ,x 表示 任意 非 零 元 素 。 

带 型 矩阵 的 一 种 特殊 形式 是 特别 令 人 感 兴趣 的 , EAE ASE. 知 阵 A OMX" 
是 三 对 角 矩 阵 ， 若 每 当时 一 天 > 1 Na, = 0. ER, 三 对 角 和 给 阵 是 上 、 下 带宽 各 为 1 的 
带 型 正方 矩阵 。 另 外 一 方面 ,三 对 角 矩 阵 也 是 下 述 Hessenberg 矩阵 的 一 个 特例 。 
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nxn LAE 4 称 为 上 Hessenberg 矩阵， 若 它 只 有 形式 


Gu ajz Gg an 

Qal 4022 023 Bn 

A O ds 033 oo Gya 
一 |0 0 aa s+ am 

0 0 0 o am 


矩阵 A 称 作 上 Hessenberg 矩阵 , 4 AT 起 上 Hessenberg WERE. 
事实 上 , 二 半角 知 阵 就 起 一 个 既 赴 上 Hessenberg, XÆ F Hessenberg 的 正方 矩阵 。 
给 定 一 个 下 Hessenberg FEE, 可 以 很 容易 地 对 它 进行 QR 分 解 , 这 就 是 所 请 的 Hes- 
senberg QR 分 解 。 另 外 , EERE 4 AB, 我 们 需要 将 4 变换 成 上 Hessenberg MERE, B 
变换 为 上 一角 和 矩阵， 这 就 是 Hessenberg CALR QZ 分 解 , 将 在 下 一 章 讨 沦 。 


2.5.2 三角 矩阵 


两 种 特殊 的 常 出 带 居 算 阵 为 上 三 角 和 矩阵 和 目 三 角 算 阵 。 三角 答 阵 是 矩阵 分 解 中 的 典 
范 形式 之 一 。 

满足 条 件 ay = 00> 7 的 正方 矩阵 U = fw,j] RAL AAEM (upper triangular 
matrix)， 其 一 般 形式 为 


Ui Un ”am 

0 u eo ow 
22 on 

U=]. : : 
0 O o nn 


满足 条 件 Ly = 0, i < 了 的 正方 矩阵 L = [y] RA KS AEM (lower triangular 
matrix), 其 一 般 形式 为 


ty 0 
i LU 

=|" 7 [EL = hler lyn 
lm laz lan. 


将 有 关 二 角 和 矩阵 的 定义 加 以 归纳 ， 一 个 正方 矩阵 4 = [ez] 称 为 
TEMERE, A ay = 0 (i< j); : 
PRE BASRA, 若 a = 0 <9); 
Afr FOARE, Hay = 08 <3), a, =1 VA); 
LEAS, 车 a, = 0 (i> j); 
PSR EO ME, AF a; = 0 (i> j) 
FAQ ES IME. A ay = 0 (i> j), ay, =1 ÀY i)o 
KTS E = Fae EA HE 
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0) 上 三 角 和 矩阵 之 积 为 上 三 角 秆 阵 , 即 车 U, Un ,Ui SHES A, WO = 
UU -…U 为 上 三 角 和 矩阵 。 
{2) EZAR U = [ey] 的 行列 式 等 于 对 角 线 元 素 之 积 , 即 


a 
det(U) = tne tan = TT] un 


(3) F= ARBRE AERE. 

(4) PZA Unen 的 大 KR UF DAETA, 并 且 其 第 i 个 对 角 线 元 素 等 
F uk. 

(8) 上 三 角 和 矩阵 Uxn =U = [usy] 的 特征 值 为 winyaza s tnne 

(6) 正定 Hermitian ERE A 可 以 分 解 为 4 = THDT， 其 中 , T AM LAR 
BE, D 为 实 对 角 和 矩阵 。 

P= APPR ATE TF. 

Q) FSM FEA, E Dy, By. Ly, SA FEAE, WE = 
开工 Lb, 为 下 三 角 和 矩阵 。 

(2) 下 三 角 算 阵 的 行列 式 等 丁 对 角 线 元 素 之 积 , B 


det(L) = Hil22 lan = Ils 
i 
(3) “FS fase Bee aR A EAER. 
(4) FZR Lasn HI k UO L* A PASE, 且 第 i 个 对 角 线 元 素 等 于 于。 
(5) FEAE Lax 的 特征 值 为 hila slano 
(6) 一 个 正定 矩阵 Ansu 能 够 分 解 为 下 三 角 希 阵 ,x 与 其 转 管 之 积 , 即 


A=LL™ (4 正定, HEL 下 三 角 ) 


这 一 分 解 称 为 矩阵 A 的 Cholesky 分 解 。 
有 时 称 满足 4 LET 的 下 三 角 矩 阵 DOWER: 4 的 平方 根 。 更 一 般 地 , 满足 


B:=A (2.5.1) 


的 任何 矩阵 B 称 为 A 的 平方 根 , 记 作 A. 需要 注意 的 是 , 一 个 正方 矩阵 A 的 平方 根 


不 一 


定 是 唯一 的 。 
特别 地 , 若 
ab 0 e 0 
abs faba ooo 0 (2.5.2) 


anbi Anba o Onbn, 
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则 其 行列 式 |C] = (olaz -ap ){bibo +++ by)» BEBE J D69, pp-23~27] 


(ab) 0 os 0 0 
(aba) (agba)! 0 0 
cos : : : : (2.5.3) 
0 0 < (ap 1bn-1)7! 0 
0 0 oo (anba) (andn) 


BADE RE BERR 1 行 外 , 每 行 只 有 2 个 非 零 元 素 。 WH k TRE k-1 个 元 素 为 -arib t 
Bk ATEN (apb) 其 中 , k = 2,3,--- ,ms 
容易 求 出 分 块 二 角 和 矩阵 的 求 逆 公 式 为 


A oy A o 

[3 2l = eta e] (2-5.4) 

A BY] o CT 

k al = |p -BACT (2-5.5) 
ot -i 一 上 -I 

AB A —A BO 

i al -Í o on | (2.5.6) 


假定 对 角 线 或 者 交 义 对 角 线 上 的 算 阵 是 可 逆 的 。 


2.6 中心 化 矩阵 与 对 角 加 和 矩阵 


一 个 m x n 抵 阵 称 为 等 元 素 和 矩阵 ， 若 其 所 有 元 素 取 相同 数值 。 作 为 等 元 素 矩 阵 的 特 
例 , 先 考虑 所 有 元 素 皆 为 1 的 n x 工 特殊 怎 阵 。 


2.6.1 求 和 向 量 与 中 心 化 矩阵 


所 有 元 素 为 1 的 向 基 称 为 求 和 向 量 (summuing vector), 记 为 1 = [1,1,--- ,了 T。 以 
n 二 4 为 例 , 求 和 向 量 1 = [1,1,1,17。 之 所 以 称 为 求 和 向 量 , A n 个 标量 的 求 和 
都 可 以 表示 为 求 和 向 大 与 另外 一 个 向 量 之 间 的 内 积 。 
例 3.6.1 24 v= |a, b, —c, dj", MRA atb-c+d TARRY 
a 
a+b-e+d={1,1,1,1] p =1'x 
d 


1 
a + b—-c+d=[a,b,—c,d] | = Tl 
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在 某 些 运 算 中 , 可 能 遇 到 不 同 维 数 的 求 和 向 量 。 此 时 , 为 了 避免 混淆 , 常 写 出 求 和 向 
量 的 维 数 ,， 如 1s = [1, 1, 划 7。 考虑 求 和 向 其 与 扼 阵 的 乘积 


4 -1 
13X32 = [L11] | -4 3 |=[{,1]=17 
1 -1 


求 和 向 重 与 自己 的 内 积 是 一 个 等 于 该 向 量 维 数 的 标量 , 即 有 


1T1, =n (2.6.1) 


nin 


求 和 向 最 之 间 的 外 积 是 … 个 所 有 元 素 为 1 的 矩阵 , 例如 


1 1 1 1 
wag- fieri- i i- 


更 一 般 地 ， 有 
LAP = Jpxe (所 有 元 素 为 1 的 矩阵 ) (2.6.2) 
于 是 , 一 个 所 有 元 素 为 a 的 p x 4 矩阵 可 以 表示 为 aS yx ge 
容易 验证 
Tnxp pxn = PJmxn (2.6.3) 
Toxglg =4lp 和 39Jpxg = PLE (2.6.4) 
特别 地 , 对 于 nxn HERE Jao 有 
T= 1, (2.6.5) 
Ja = nTa (2.6.6) 
TE H+ 
J,=+4, (2.6.7) 
路 
则 有 
J =J, (2.6.8) 
BI, 3 — (SEER. 
定义 矩阵 
Cn = -}, =I, -Jn (2.6.9) 


AEREA EE PRA USE (centering matrix), BA, PELIE RRAN E 
特性 : 


Cy, = Cn 一 Cn 
C,1=0 (2.6.10) 
CiJ_ = Inc, =O 
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求 和 向 其 工 与 中心 化 矩阵 了 在 数理 统计 中 非常 有 用 外 12671。 
首先 ， 一 组 数据 zi, rz,…' ,x 的 均值 可 以 川 求 和 向 量 表示 , 即 有 


lē 1 1 1 
z= not = ze 十 Zz 十 十) = cert = aie (2.6.11) 


RHH, w = [zz En] 为 数据 向 量 。 
其 次 , 利用 中 心 化 矩阵 的 定义 式 (2.6.9) 及 其 性 质 公式 (2.6.10), 可 以 得 到 


z 1 1 
Ce =z-Js =s- -117r =g ~ -71 
n n 


(2.6.12) 


= [1 — £, t- F, 


换言之 , 矩阵 C 对 数据 向 量 x 的 线性 变换 Cr 是 原 数据 向 量 的 各 个 元 素 减 去 n 个 数据 
的 均值 的 结果 。 这 就 是 中 心 化 矩阵 的 数学 涵义 所 在 。 

此 外 ， 如 果 求 向 量 Cx 的 内 积 , 则 有 

(Ca)"Cx = (ty — 8,22 —8,--- 2, — Bla, = Bz, ~ k,n DT 
= Se -2) 
i=l 
但 是 , 由 式 (2.6.10) 知 CTC = CC = 口 ,， 故 上 式 又 可 简化 为 
aCe = DA -7? (2.6.13) 
i=1 

式 右 是 我 们 熟悉 的 数据 Taen ,zw 的 协 方差 。 即 是 说 , ASHER HT AT HAE 
阵 为 中 心 化 矩阵 的 二 次 型 oT Ca 表示 。 

上 述 结 果 可 以 从 数据 向 量 推广 到 数据 和 矩阵。 考查 ke 个 通道 的 观测 数据 ,它们 的 数据 


长 度 相同 , 均 为 N, 即 第 ; 个 通道 的 观测 数据 为 rzaj typ 了 = 2 … ,ks 收集 
k 个 通道 的 全 部 数据 ， 组 成 观测 数据 垂 阵 


Ty, Zig Tk 
Ta Taz oO Tk 

X=|” % | a orgy +> ,eh] (2.6.14) 
Tyi TN2 `U Tyk, 


4a, 是 第 7 个 通道 观测 数据 的 均值 ， 即 
iğ ar . 
3 =H Lt =1Ra,=a71y, j=1,2,.…,k (2.6.15) 


则 上 通道 的 均值 向 量 为 


1 
= 了 Fo (2.6.16) 
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各 个 遂 道 的 观测 数据 减 去 该 通道 的 均值 后 , 得 到 的 新 观测 数据 zy -Z,, tog 一 B),… ,Zwj 一 
z 具有 零 均 值 。 这 一 操作 称 为 零 均值 化 。 各 个 通道 的 观测 数据 零 均值 化 后 , 新 的 观测 数 


据 矩 阵 为 


Zi fiz Tik Ti Ta Tk 
x= Za Ta Tar _i Fa zy 
Tyi TN2 INK 五 £2 =, 
=X-1a! (2.6.17) 
第 了 列 为 
Tij — Ëj 
Iy- 1 - 
3 =g; - HI ye = (I —Fy)ay 
TNj — 2; 
=Cy®;, j=1,2,.,k (2.6.18) 
由 此 得 到 
K=CyX (2.6.19) 
和 
N 
Vey ~ 2)? = (Cej)TCuai = 27 Cye, (2.6.20) 


i=l 


AP, 利用 了 中 心 化 矩阵 的 性 质 公式 (2.6.10)。 
式 (2.6.20) 的 矩阵 形式 为 


S = XTX = XTCyX (2.6.21) 


- 矩阵 S= XTCNX 实际 上 是 k MEME DPE, KERTH 
中 被 称 为 Wishart 4ER (141, 


2.6.2 ”对 角 加 和 矩阵 
AGRE Dy, TEA any 利加 xi 为 向 量 , JHH p 为 标量 。 称 
dtpoab datpabs --- din tP ad, 
C=D+pab"= da +P azb dag +p aby os dan +P dabn (2.6.23) 
Guy +P Onby dag +P Oqby © dan +P Onby 


n -1 
为 对 角 加 征 阵 (diagonal plus matrix), 式 中 , p  — (È af) . 
i=l H 
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GAR, JERE C 的 元 素 cy 可 以 表示 为 


cy =a tp a,b t= 1,2,---,n ( 主 对 角 线 ) 
Gapi = diipi HP Gibi T= 1,2,---,n-1 (次 对 角 线 ) 
Zdi tP abio 1523,- n (次 对 角 线 ) 


cai-1 
BDC 的 主 对 角 线 和 次 对 角 线 上 的 元 素 都 服从 一 定 的 加 法 规则 。 这 就 是 为 什么 称 C 为 “对 
角 加 ”矩阵 的 缘故 。 
运 几 矩 阵 求 逆 引 理 , 不 难 求 得 对 角 加 矩阵 的 逆 矩 阵 为 
C7 = (D +p ab) = D +qab" (2.6.23) 
式 中 
å = [nüz än] (2.6.24) 
È = bi bg ,bl™ (2.6.25) 
n -1 
9= -2 ( +P>> w/t) (2.6.26) 
i=l 


其 中 , å = ai/dia， bi = bifdi。 
下 面 介绍 对 角 加 矩阵 在 数理 统计 中 的 应 几 pel 。 
考虑 n 个 随机 变 其 x1,22，… 2,0  p, 为 随机 变量 x, 的 发 生 概率 , Bp, > 0, H 


SMa, <1. 
= 令 零 均值 的 随机 向 基 z = [zi za… ,zaj 的 方差 - 协 方差 矩阵 为 Y = Efes}, 则 
可 以 将 它 写成 对 角 加 矩阵 形式 ， 即 有 : 


Dp) -pps 7 -PPr 
-pP Poll—p2) … -PPn 
V= : . : 
一 pop 一 pnpa + Pall- Pa) 
pp 0 0 Pi 
Om 0| fr 
She. a po [i| Pope Pal 
0 0 … Pa Pn, 
=D+6 ab" (2.6.27) 


式 中 
D = diag(p1, Pa, ,Pn) 
a=b = [pi Pas Pal” 
B=-1 
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在 第 1 BAY Woodbury 公式 (1.7.12) 

è 
T IFA u 
1, $ A=D,b=8=-] Ru=v=a= [ppr pal? WTR (2.6.27) 定义 
的 方差 - WIERE V IERA 


Vol = D + qäbT 


= diag (pppa… Pa) tat 


(A + buv") = 4 Auv" aq} 


pit O ws 0 Pate. 1 
0 pz! 0 lies. 1 
= . [ta 
0 0 Pa? 1 1 1 
Pi +a a ss: a 
一 
+g o 
=| 7 ata q (2.6.28) 
: : | 
q 4 o Pa +g 


n 一 1 
RE, g= (1-5) 。 
借助 中 心 化 矩阵 和 对 角 加 矩阵 ， 可 以 简化 数理 统计 利信 号 处 理 很 多 问题 的 描述 。 


2.7 ”相似 矩阵 与 相合 矩阵 


本 节 讨 论 矩 隆 的 两 种 特殊 线 狂 变换 。 变 换 后 得 到 的 矩阵 与 原 矩 阵 之 间 存 在 某 些 有 趣 


2.7.1 ”相似 矩阵 
令 Se Cnxn 为 并 奇异 矩阵 ,考查 矩 阵 4 < OUT 的 线性 变换 


B=S"'AS (2.7.1) 
令 线 粕 变换 B 的 特征 值 为 ,对 应 的 特征 向 大 为 y, 即 
By = Mg (2.7.2) 


将 式 (2.7.1) RAER, HVAT SASy = dy oh 
A(Sy) = (Sy) (2.7.3) 
HS v= Sy H y = Se, WR (2.7.3) 可 以 写作 


Ag = Ax (2.7.4) 
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比较 式 (2.7.2) 和 式 (2.7.4) 知 , MERE A 和 B= ST AS 具有 相同 的 特征 值 ,， JHH 
RE B 的 特征 向 量 y 起 矩阵 A 的 特征 向 基 = 的 线性 变换 , BN y = Ste. h THEE A 和 
B= STAS 的 特征 值 相同 , 特征 向 基 存 在 线性 变换 的 关系 ,所 以 称 这 两 个 矩阵 “相似 ”。 
Th. 有 下 面 的 数学 定义 。 

定义 2.7.1 (相似 矩阵 与 相似 变换 ) RE B < Cx? 称 为 矩阵 A © CPX 的 相似 算 
BE, 葵 存 在 一 非 奇 异 矩阵 Se.C"xn 使 得 B = SAS. 此 时 , 线性 变换 Ac SAS 称 
为 矩阵 A 的 相似 变换 。 关系 “BB 相似 于 4” 常 简写 作 BB ~ A. 

相似 处 阵 具有 以 下 性 质 ; 

(1) FUR: A~ A, 即 任 一 矩阵 与 它 白 己 相似 。 

(2) 对 称 性 : 苦 A 相似 于 B, U B 相似 于 A. 

(3) 传递 性 : E A~ BA BSC, 则 4~C。 

证 明 (1) REER (2.7.0 中 取 A= BAS =I, HOTTER (1)。 

(2) 4 AAMT B, WE A= SBS. MLER S ALR S-1, WH B= SAS, 
即 B ALT 4。 性质 (2) 得 证 。 

(8) $ A= SBS fi B=T'cT, WE 


A = 8T 'CT)S = (TS)-1C(TS) 


这 就 证 明了 4 相似 于 C。 性 质 (3) 得 证 。 a 
PRR THEREON SE eB. 
定理 2.7.1 2A, BEC, # BE A 相似 , W det(B) = det(A) 和 tr(B) = 
tr(A), 即 相似 矩阵 的 行列 式 相等 ,并 有 具有 相同 的 迹 。 
证 明 对 相似 关系 B= SAS 分 别 运用 行列 式 的 性 质 , 得 


det(B) = det(5-149) 
= det( 37?) det(A) det($) 
= det(A) det( 57!) det(S) 
= det(A)det(S 15) 
= det(A) det(I) 
= det(A) 


利用 迹 的 性 质 ， 又 有 
tr(B) = tr(S7'AS) = tr(S-1(49]) = tr(ASS7') = tr( A) 


这 就 证 明了 本 定理 。 a 
定理 2.7.2 $A, BEC". HB ATL, 则 BB 的 特征 多 项 式 det(B - z1) 与 


A 的 特征 多 项 式 det(A - z1) 相同 。 
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证 明 对 任意 z, 有 


det(B — zI) = det(S~1AS — zS 19) 
= det(S71(A — 21)S) 
= det( 57!) det(A ~ 21) det(S) 
= (det(S))~! det(S) det(A — z1) 
= det(A — zI) 


即 定理 得 证 。 E 
注意 到 一 个 矩阵 的 特征 值 定义 为 该 矩阵 的 特征 多 项 式 的 根 , 上 述 定理 给 出 以 下 推论 。 
推论 2.7.1 FA BCO™, 并 日 4 利 B 相似 , 旭 它 们 具有 相同 的 特征 值 (包括 

多 重 特征 值 在 内 )。 
这 个 推论 启发 我 们 ， 如 果 想 得 到 一 个 矩阵 A 的 特征 值 ， 可 以 通过 相似 变换 , 使 A 

的 相 羽 矩阵 为 三 角 算 阵 。 这 样 一 来 , 该 三 角 短 阵 的 对 角 元 素 便 给 出 矩阵 A 的 所 有 特征 值 

(包括 多 重度 在 内 )。 

下 面 关 相似 矩阵 的 重要 性 质 。 

(相似 矩阵 B ~ A 具有 相同 的 行列 式 , 即 1B| = |A] 

(2) EHF SIAS =T (LZA), WIT ROTOR WA A 的 特征 值 Ao 

(3) 两 个 相似 矩阵 具有 完全 相同 的 特征 值 。 

(4) 若 4 的 特征 值 各 不 相同 , 则 一 定 可 以 找到 一 相似 算 阵 SAS = D (对 角 和 矩阵 )， 
其 对 角 元 素 即 是 矩阵 A 的 特征 值 。 

(5) n xn ERF A 与 对 角 矩 阵 相似 的 充分 必要 条 件 是 : 矩阵 A 的 n 个 特征 向 量 线 
性 无 关 。 

(6) 相似 矩阵 B = SAS 意味 着 B? = S-14SS-145S = 3 -1428， 从 而 有 BY = 
SOA‘S. REV YB ~ A, 则 BY ~ At。 这 一 性 质 称 为 相似 年 阵 的 之 性 质 。 

(7) SHIM B= SAS 和 A STE, W BO = 3 4 -15,， 即 当 两 个 矩阵 相似 时 ， 
它们 的 逆 和 矩阵 也 相似 。 

在 相似 变换 中 最 重要 的 是 酉 相似 变换 。 如 果 和 矩阵 4 经 过 西 矩阵 相似 变换 为 B, 就 称 
Afi 吾 直 酉 相似 的 。 例 如 , 若 Hermitian MEE A ZAER UT = US 相似 变换 为 对 
SER S, 即 有 E= UAU, 则 根据 推论 2.7.1 4, Hermitian RE A 与 时 相似 的 对 角 
矩阵 D 具有 相同 的 特征 值 。 这 正 是 Hermitian 矩阵 AN = A 的 特征 值 分 解 4 二 UPDUN 
的 理论 基础 。 


2.7.2 ”相合 矩阵 


与 相似 矩阵 在 形式 上 部 分 相同 的 矩阵 起 相合 夭 阵 。 
定义 2.7.2 (相合 矩阵 与 相合 变换 ) > A,B,C e CO""， 并且 C 非 奇异 ， 则 矩阵 
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B= CE4C 称 为 4 的 相合 矩阵 (congruent matrix), 而 线性 变换 AH CHAC 称 为 相合 
相合 矩阵 具有 以 上 特性 。 
0) ORE: AMAT A, 即 任 一 矩阵 与 它 白 己 相合 。 
(2) 对 称 性 : HAT B, W BAT A. 
(3) 传递 性 : E AEF BB, 而 BB 义 相 合 T D, 则 4 相合 丁 D. 
证 明 对 于 相合 而 言 ， 
() R C =I, 则 显然 有 A 与 CEAC = A 相合 。 特性 (1) 得 证 。 
QHAHAT B, H 4= CEBC， 则 有 


B = (CĦ) AC = (CO HAC = THAT 


式 中 , T= Co HEAREN. CRRI, EE B 相合 于 4。 特 性 (2) 得 证 。 
(3) € B = C}AC, Ñi D=CEBC,, W 


A= (CÐDBOT = (CHLOP DE; OT = [cco >] D (Cc) 


EA 相合 二 D, 内 为 CC TERR. 特性 (3) 得 证 。 r 
对 于 一 个 n x n 维 Hermitian 和 矩阵 4， 存 在 一 个 非 奇异 矩阵 T, 使 得 4 = TDT”, 

中 , D = diag(d),d,,--+ dy) 是 对 角 和 矩阵， 并 共 对 角 元 素 d; 只 取 +1, -1 和 0 这 3 种 

值 , 它们 分 别 与 矩阵 A 的 正 特征 值 、 负 特 征 信 利 零 特 征 值 相 对 应 。 此 时 , 称 TDTS EE 

PE A 的 相合 规范 型 (congruent canonical form), MIJE D 则 称 为 矩阵 A 的 规范 相 

AHERE (canonical congruent matrix). 

R LES” ST DA FERN: 

(1) 两 个 相合 矩阵 A 和 BML ROA. BANK f(a) = oF Aw. 

ES c= Cy, 其 中 , C 为 非 奇 异 短 阵 , 则 有 


a! Ar = yC" ACy = y By (2.7.5) 


RH, B= CHAC。 这 表明 , MMACHRAAHAN AMOR. 
(2) Hermitian 矩阵 4 的 规范 相合 矩阵 D 与 西 相似 对 角 化 矩阵 (特征 值 和 矩阵) y 的 
元 素 具 有 以 下 关系 : 零 元 素 的 个 数 相同 , 对 应 的 非 零 元 素 具有 相同 的 符号 。 


2.8 Vandermonde 矩阵 与 Fourier 和 矩阵 
本 节 考 查 每 行 元 素 组 成 一 个 等 比 序列 的 两 类 特殊 和 矩阵, 它们 是 Vandermonde 矩阵 和 


Fourier JER, 在 信号 处 理 中 有 着 三 泛 的 应 用 。 事实 上 , Fourier tE Vandermonde 和 矩阵 
的 一 各 特例。 因此， 上面 先 介绍 Vandermonde 矩阵 。 
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2.8.1 Vandermonde 矩阵 


nxn 维 Vandermonde 矩阵 是 取 以 卜 特殊 形式 的 矩阵 : 


Loa, af oo gpl 
1 a 对 at 
4=|, 7? % > (2.8.1) 
1 a, 22 o sp] 
或 
1 Lowe 1 
Ti ta cu n 
A=| a 3 oe ah (2.8.2) 
spi ag! saml 


BEREIT (或 列 ) 的 元 素 组 成 一 个 等 比 序列 。 

Vandermonde 矩阵 有 一 个 突出 的 性 质 : n 个 参数 zl; 22，,… ,zn BF, Vandermonde 
和 扼 阵 非 奇异 。 为 此 ， 需 要 证 明 行列 式 det(A) #0, 2,4 2,,Vi¢ jo 最 简单 的 方法 莫 过 于 
直接 评价 Vandermonde SEREAUTT FUsK 5-193), TAR, ATL det(A) WA a, Mn —1 
阶 多 项 式 。 作为 一 个 n 一 1 阶 多 项 式 , det(A4) WH zi = 22,0, = 2p 0, = ay» 因为 每 
当 撼 阵 的 两 行 (或 列 ) 相同 时 , 行列 式 等 于 零 。 于 是 , 可 以 将 行列 式 表示 为 


det(A) = (za — zl](zs — £1) (En 一 71)g(z293， ,Tn) 


式 中 , g(z2,z3,… Pq) 是 一 个 只 与 22,29，… ,zs 有 关 的 多 项 式 。 类 似 地 , 行列 式 det(A) 
也 可 以 分 别 视 为 关于 zz,23,… ,zn 的 nn 一 1 阶 多 项 式 。 TE, 可 将 Vandermonde 矩阵 的 
行列 式 用 多 项 式 形式 表示 为 


det(A)= TI] 人 -ztcora ,2n) 
lgj<ign 
式 中 , 6 是 关于 21,22,… ty 的 多 项 式 。 由 于 行列 式 det(4) 中 zx; 的 阶 数 为 mn, HA ¢ 
必定 为 常数 项 , 不 可 能 与 任何 z, 有 关 。 特别 地 ， 当 n = 2 时 ，Vandermonde 矩阵 的 行 殉 
x]! 1 上 -x -zs HEM o= 1. 因此 , nxn 维 Vandermonde 算 阵 网 行列 式 由 


T By] 


det(A) = Il {zi — Ty) (2.8.3) 


ij=l, i>i 


给 出 B6,P.193]。 显然 , 若 m; ap Yije 则 det(A) #0, Hl Vandermonde SERIER SE. 
在 插值 问题 中 , 通常 需要 求 最 高 阶 次 为 n 一 1 次 的 多 项 式 p(z) = ar18 Hant 


2.8 Vandermonde $5 Fourier 矩阵 163 


-tatt oo 并 要 求 它 满足 


pla) = ag + 01ta + ant? +--+ +a, yap = y 
pB(za) = ao + a12 + a323 + +--+, 1737) = Yo 

(2.8.4) 
PlEn) = Ag + orzn 十 02 区 十 十 on-12 = Yn 


EF, topta za Bl yya tn WEA. MARIE (2.8.4) 是 一 组 线性 方程 ， 共 
H n PARA n PAAR ao at， anae 方程 纪 可 写作 Aa = y, 其 中 , a = 
[otis Ania) y = [as Yor Mal BAERE A 是 如 式 (2.8.1) 所 示 的 Vandermonde 
AERE. 车 数据 点 z1、x2,，… ,zw 各 不 相同 ; 则 插值 问题 总 有 一 个 解 , 因为 A 在 这 种 情况 下 
是 非 奇 异 的 。 

在 信号 处 理 中 经 常 遇 到 是 另 一 形式 的 Vandermonde 第 阵 。 

Bil 2.8.1 (扩展 Prony 方法 ) 在 谐 波 恢复 的 扩展 Prony 方法 中 ,信号 模型 假定 是 一 
组 p 个 指数 函数 的 县 加 , ARBOR ERR. A. AM. TE, 8 
散 时 间 的 数学 模型 


p 
a=) bz, n=O, N1 (2.8.5) 


被 用 作 拟 合 观测 数据 zoro ey 的 数学 模型 。 通常 , 5 和 假定 为 复数 ， 并 且 
b= Apl), z = explla; +ji2rf)Ad 


Hp, A, E. 0, 是 相位 GUE) a 为 阻尼 因子 ， 户 为 振荡 频率 (Hz), At 代表 采样 间 
隔 ( 秘 )。 式 (2.8.5) 的 矩阵 形式 古 


b= 
中 , b= [bobo bp &= o sên- 
i 1 1 1 
a 2 4% Žp 
=| 23 4 Z oo g (2.8.6) 
2N-1 Not ayo 


S 为 Vandermonde 矩阵 。 YER, Vandermonde HIME 更 的 每 列 元 素 组 成 一 等 比 序列 。 这 
一 结构 与 每 行 元 素 组 成 等 比 序列 的 Vandermonde 矩阵 不 同 。 
由 于 每 列 具有 等 比 序列 结构 ， 显 然 ， 当 闪 仅 当 ,zo，,… ,z 各 不 相同 时 , 式 (2.8.6) 
的 Vandermonde JERE, 2 的 各 列 是 两 两 线性 无 关 的 ， 即 Vandermonde ERIE. 
使 平方 误差 < 一 》 |e, 一 如 | 最 小 , 便 得 到 最 小 二 乘 解 
n=1 


b= (dio) oa (2.8.7) 
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容易 证 明 , R (2.8.7) 中 的 STS 的 计算 可 以 大 大 简化 , 使 得 无 需 作 Vandermonde 矩阵 的 
乘法 运算 ,就 能 够 直接 利 州 


u hz o Vip 
Ya Y2 o Vp 
-= |. : : (2.8.8) 
Yt Yo °° Upp, 
计算 出 oF 本 ,其 中 x 
ziz -1 
Giz) (2.8.9) 


w= T 
R (2.8.6) Brasil N x p HERE S 是 在 信号 处 理 中 上 证 应 用 的 Vandermonde 年 阵 之 
一 。 信号 处 理 中 另外 一 种 与 式 (2.8.6) 类 似 的 Vandermonde 4HE 


1 1 1 
ex er ev 
e-| . - : (2.8.10) 
W-D ND) haf) 


在 信号 重 构 、 系 统 辨识 和 其 他 一 些 信号 处 理 问题 中 , 需要 对 Vandermonde HRH, 
考虑 下 列 n x n $f Vandermonde 矩阵 : 


1 1 1 
a da + a 

4=| | . Z|, aec (2.8.11) 
aml ago? anol 


记 det(A) = 人 (aaz，… 2), 则 


Valaan san)= TT (a) (2.8.12) 
1€jRign 
下 面 推导 Vana ,an) 的 表达 式 。 对 于 L<k<n-1, 考虑 行列 式 
1 1 1 
ay ag tt Oy 
人 oa sap) = far? ag ah (2.8.13) 
akt aktt vee akti 
af à an 
Ë k=0, 则 定义 
al ag an 
2 2 oa 2 
Volanas 0s) = © on (2.8.14) 
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当 上 二 nn 有 时, 定义 


1 1 1 
a. & & 
Wlanog and 1 2 r (2.8.15) 
az= agi az= 
根据 以 上 定义 , 显然 有 
Va (01, G2 Gn) = Va (015 G2 An) (2.8.16) 
进一步 地 , 我 们 来 考虑 (n + 1) x (n + 1) Vandermonde 矩阵 : 
1 1 1 1 
a a a, 
Vearl@z tg amd) = | 2 ~ (2.8.17) 
al ag ar ar 
其 中 , z 为 一 复 变量 。 容 易 证 明 
Vay 1 (415495 *** 5 @ns2) = Valari 00> san) x JẸ- 02) (2.8.18) 
i=l 
另 一 方面 , 对 最 后 一 列 应 用 Laplace EF, 则 有 
Ving 1 (01am Ons 2) = Var (yg, 0n)? — Ve (0,035: sn)2™ + 
(Da san) (2.8.19) 
考虑 上 O<K< na) 阶 多 项 式 ， 它 们 只 有 变量 aaz ran BR 
Tolar ag sap) = 1 
Or(abaa san) = 01+ 02 +t tan 
ae(eiya2 an) = 0102 +++ + 040, + agag + -iH aaan H H anan (2.8.20) 
Oplt az san) = Q102 +++ Oy 
TH 
[Ce ~ 6) =00(0, ag: ,an)z" — orlar ag ran)" 
i=l 
--+(-1)"a,, (4), aa 5%) (2.8.21) 


综合 式 (2.8.18) ~ 式 (2.8.21) 得 到 


VE (maz san) = W002 On )On—K(4js42,°** On), OCKEN (28.22) 
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EG hi (1 <j <n <isn) 是 Vandermonde HM A 与 元 素 af? 对 应 的 余子 式 ， 
则 有 
一 (了 (gt (2.8.23) 


将 式 (2.8.22) 代入 式 (2.8.23) 得 


As = (一 (non (8.24) 
Ait A 。 , 
O onlan sg a 
“2 = (1) On 
Valai 49)° san) 1) gt a (2.8.25) 
I-a) I (a, — a;) 
kel k=j+l 


Tit, Vandermonder 矩阵 A HEIERI (1,7) 元 素 可 以 表示 为 


ai= cyni tn tren ta), LJ=1,2,-,n (2.8.26) 
JI; — a) II (ap 一 a;) 
k=l k=j+1 
显然 , 3K (2.8.26) 也 可 以 等 价 写作 
Al= 
Snia agit an) _ Inzagi On) (pet ] 
D a 7 
I-a) T] (@. ~a) Tea) 
k=2 ka? k=2 
__Fn-1(4y 143)" ,0n) Cn-2(Q1; 03, -+ 5 On) we (pe? 
(a, —a;) J x - 2) (az - a1) [[ (a, - 22) (az — a) T] (44 ~ 22) 
k=3 k=3 k=3 
Onlann iian) gaalan ana) 1 
noi n=-l nl 
CD [fina (2 T] (a, — 2x) TI —o) 
k=1 k=1 k=1 


(2.8.27) 
这 表明 , 可 以 根据 Vandermonde JERE A 的 元 素 直 接 计 算 道 矩阵 4 +。 这 - ' 求 着 公式 是 
文献 [328] 推导 的 。 

2.8.2 Fourier 和 矩阵 


特别 地 , 考虑 一 个 N x N 特殊 Vandermonde HERF. 在 式 (2.8.1) 中 令 z; = wi), i= 
1,2, N, ER w =e 32%, 则 有 


2 N-1 
F=]. : : ， w= ein (2.8.28) 


1 owl Ma020N-D a. WND -1) 
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具有 这 种 特殊 结构 的 矩阵 称 为 Fourier EPE. 显然， Fourier WEBERI (i,k) 元 素 为 F(i,k) = 
wli—1)(k—1) 

离散 时 间 信 号 z{0),z({1),… ,2(N — 1) 的 Fourier 变换 称 为 离散 Fourier 变换 (DFT), 
定义 为 


N-1 W-1 


2(k) = YO (mei ZEN =~ o(nju™®, k=0,1, e, N1 (2.8.29) 
n=0 n=0 
写成 矩阵 形式 , 有 
2(0) 1 1 1 ee 1 (0) 
&(1) 1 w w? eee wN- zl1) 
: ar : : : (2.8.30) 
aN- | 1 aN 2D yi BOD} [et —1) 
或 简 记 作 
&= Fe (2.8.31) 
式 中 
© = [e(0), 2(1),--- E(N — 1T (2.8.32) 
& = [8(0), €(1),--- (N = 1)" (2.8.33) 


分 别 是 离散 时 间 信 号 向 址 和 其 频谱 向 量 (一 个 信号 的 Fourier 变换 常 称 为 该 信号 的 频谱 )。 
以 上 分 煌 表明 ,一 个 离散 时 间 信 和 号 向 旺 的 离 租 Fourier 变换 可 以 用 矩阵 FAIR. 这 
就 是 为 什么 称 和 矩阵 FY Fourier RR, 
根据 定义 易 知 


Pips FFU NT (2.8.34) 


HHR (2.8.34) 之 结果 ， 容 易 证 明 离 散 Fourier 反 变换 也 可 以 用 Fourier 矩阵 表示 。 
为 此 , H Fourier SE PERI HIR BERR (2.8.31) 两 边 , 得 到 Phe = PUPS, 然后 代入 
Fur =NI, 立即 有 


z= wre (2.8.35) 
或 写作 
0 1 1 1 we 1 #(0) 
ay 1 1 ww Go 20) 
; “WEE: : : : : 
a(N 一 了 1 (why (wN Ds eee (w NDN- £(N — 1) 
(2.8.36) 
BH wet 
a(n) = x So abel”, n= O1 NI (2.8.37) 


k=0 
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这 恰好 就 是 离散 Fourier 反 变换 的 公式 。 
st (2.8.31) 和 式 (2.8.37) -起 组 成 韭 对 称 形式 的 Fourier 变换 对 。 
在 有 些 文献 (例如 [290]) H, Fourier 矩阵 定义 为 


1 1 1 te 1 
1 | v w? oo wN- | 
Forel : 2 [o wee (28.8) 
1 whl WAN) ,ww V-1)(N-1) 


这 一 定义 导出 对 称 形 式 的 离散 Fourier 变换 对 


N-1 
1 ; 
(k) = $ a(njei ZIEN, = 0,1,---,N-1 2.8.39 
(k) TZ (n) ， ( ) 
N- 
a(n) = (ol ret/ n=0,1, e, N-1 (2.8.40) 
Tm oe ， nly 8. 


根据 定义 ,容易 证 明 n xm 阶 Fourier 矩阵 具有 以 下 性 质 2). 
(1) Fourier 矩阵 为 对 称 矩 阵 ， U PT = Fo 
(2) Fourier 矩阵 的 逆 矩 阵 等 于 Fourier SERERUSESTAEME, EP PT =F". 

(3) F? = P = [evenyen bu … ,ea] (置换 矩阵 ),， 其 中 , e, 是 标准 向 量 ( 仅 第 k 个 元 
RA 1, 其 他 元 素 皆 为 0 的 向 量 )。 
(4) VAF = C+j5, 其 中 , HRC AS 的 第 i 行 和 第 ; 列 的 元 素 分 别 为 


Cy = cos (Ze -DG- n) 
Sy = sin (2¢-n0-n) 
SH, ij = 1,2,… ne 
(5) Ft =I 
(6) CS=85C M CHP =F. 
除了 2.1 节 介绍 的 两 种 循环 矩阵 外 , 一 个 n x n ERE 


co C_1 ue Cn 
c oe Qu 
c=]? ° on (2.8.41) 
Cn Cn 一 2 we Co 


也 称 为 循环 矩阵 ， 式 中 ，e_x = pk = 站 2 -… 光一 1。 有 趣 的 是 , 这 类 循环 矩阵 可 以 被 
Fourier 矩阵 对 角 化 ， 即 有 (207, p78) 177] 
Cn = FHA,F, (2.8.42) 
st, nxn 维 Fourier 矩阵 F, 的 元 素 为 
[F plik = pan Ogikgn-l (2.8.43) 
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HA, 是 一 个 nxn 对 角 和 矩阵 ， 其 对 角 元 素 为 循环 矩阵 Cn 的 特征 值 。 值得 指出 的 是 , 循 
HAERE C 的 特征 值 Xi, Antis An 可 以 利用 C 的 第 1 列 元 素 co ,ci_1 的 离散 
Fourier 变换 得 到 , 即 有 站 


nl 
de = Sheil? k= 0,1, ,nl (2.8.44) 


i=0 


并 且 这 一 运算 可 以 利用 快速 Fourier 变换 (FFT) 实现 。 
2.9 Hankel 矩阵 


正方 矩阵 A € CC+Dxtn+l 称 为 Hankel RUBE, 区 


ao ay ag 1 Gy 
a ag Oy Ont 

A= ]% as Gq Qng (2.9.1) 
Gn Anyi n42 O Gan 


显然 , 只 要 序列 0001 ,zn_1, azn 给 定 , Hankel 矩阵 的 一 般 项 就 由 ai = Qiy;_2 规定 。 
事实 上 , Hankel 矩阵 是 -一 个 交叉 对 角 线 上 有 具有 相同 元 素 的 息 阵 。 
假定 给 出 了 一 系列 复数 so 81, sa ……， 它们 定义 了 一 个 无 穷 阶 对 称 矩 阵 
So 31 82 1 


8, sa Sy oo 
S= |e s, s, + 
2 33 $4 


(2.9.2) 
称 矩 阵 S 为 无 穷 阶 Hankel 矩阵 ， 并 简 记 作 S = [si]. 在 第 1 章 中 讨论 过 的 Hankel 


算 子 实际 上 就 是 无 穷 阶 Hankel 矩阵 。 
下 面 的 定理 给 出 了 无 穷 阶 Hankel 矩阵 具有 有 有 限 秩 的 充分 必要 条 件 。 
定理 2.9.1) 无穷 阶 Hankel JERE 5 = [salp 具有 有 限 秩 ~, 当 且 仅 当 存 在 7 个 


常数 aaz,…… ,ar， 使 得 


. 
8 = os  larrtle (2.9.3) 
i=l 


成 立 , 其 中 ,+ 是 具有 该 性 质 的 最 小 整数 。 

证 明 RAE S = [si ,jg BUAR r 那么 该 答 阵 的 前 7+1 行 ete a 
是 线性 相关 的 。 因此， 存在 一 个 正 整数 A < r 使 得 行 nm ,为 是 线性 无 关 的 ， 但 行 
是 这 些 行 的 线性 组 合 , 即 


Tayi 


H 
Thar = Hig 
i=] 
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现在 考虑 行 7 na Teanga? 其 中 , ! 是 一 任意 砷 负 整 数 。 由 Hankel 4ER S 的 
结构 显而易见 , 这 些 行 可 以 通过 “不 缩 ”前 面 的 h 十 1 行 得 到 。 具体 说 米 , 就 是 删 去 前 1+1 
列 的 元 素 , 得 到 


H 
War 二 air ip 012 
i=1 


HOR, FEM 5 第 h 行 以 后 的 任意 行 都 可 以 表示 为 其 前 面 h 行 的 线性 组 合 ,直至 最 
前 面 h 行 的 线性 组 合 。 注意 , 最 前 面 h 行 是 线性 无 关 的 。 由 此 可 以 得 出 绪论; EERE 
> 大 he WR h H r 代替 ， 并 详细 写 出 线性 关系 mi = D. aaa 的 话 , 则 得 到 式 
(2.9.3). 反之 , HAH (2.9.3) AL, WERE S 的 任意 行 (GUA) 就 是 5 最 前 面 r 行 (或 
列 ) 的 线性 组 合 。 内 此 , EE S 的 所 有 阶 数 大 于 r WARS SE, HHH S ARK 
h< r 然而， 这 一 秩 不 可 能 小 十 r+， 因为 这 意味 着 , R (2.9.3) 的 关系 对 一 个 比 r 小 的 值 
也 成 立 , 而 这 是 与 定理 的 假定 条 件 相 矛盾 的 。 m 

推论 2.9.1 如果 无 穷 阶 Hankel HEME S AARE 7, 则 D, = detlsiy4]5 天 0。 

事实 上 , 从 关系 式 (2.9.3) 可 以 得 出 结论 : 矩阵 5 的 任意 行 (或 列 ) 都 是 最 前 面 > 行 
(或 列 ) 的 线性 组 合 。 因 此 , 阶 数 为 r 的 任意 余子 式 都 可 以 用 形式 oD, 表示 , 其 中 , a 是 
某 个 常数 。 由 此 可 得 不 等 式 D, A 0。 注意 , WTR r HATA Hankel HME, D, #0 
有 可 能 不 成 立 。 例如 , 元 素 so = s1 = 0, 但 ss £0 MERE 


Si 1 
sofe al 
的 秩 等 于 1, 但 是 同时 D, = so = 0. 


下 面 讨 论 无 穷 阶 Hankel 矩阵 与 有 理 式 函 数 之 间 的 联系 。 
假定 存在 一 本 征 有 理 式 函数 R(z) = 9(z)AR(z)， 其 中 


hz) = ag2z™ + a2") bo + Og ZF am (2.9.4) 
9{2) = boz™ + bz2™ HO 1 + bm (2.9.5) 


现在 将 函数 RO) 写作 z AOR, 


-W 


- -2 
= a) = 89 + 827) + 892 FP + 


Riz) 


如 果 函 数 RR(z) 的 所 有 极点 (也 就 是 满足 R(z) 一 00 的 所 有 > 值 ) 都 位 于 半径 为 a 的 图 
内 , BD lz| <a, 则 上 述 级 数 对 于 |z| > a WS. HAE A(z) 同 乘 上 式 的 两 边 , 得 到 


(ag2™ +a, $e Hag 12 HOm 8p + 8,271 + 89277 +--+) 


= boz” + yz te tO + On (2.9.6) 
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比较 上 式 两 过 z MUR IA FARA: 


a080 = bo 
aost 十 Qi50 = br 
(29.7) 
898m F 01sm 十 十 am50 = bm 
Qos, + aiSia +++ + On Sim = 9, l=mm+1,--- (2.9.8) 


令 ai = -a;/ay, i= mm 十 1,…， 我 们 就 可 以 几 式 (2.9.3) 书写 关系 式 (2.9.8), 其 
H, r= m. RIE, 根据 定理 2.9.1, 具有 系数 so, s1, 32,… 的 无 穷 Hankel SEM S = [si ,18° 
的 秘 为 有 限 大 (< m)。 
AAR. WERA S 具有 有 限 的 秩 ， 则 式 (2.9.3) 成 立 ， 这 些 方程 可 以 用 式 (2.9.8) E 
T, 其 中 , mar. ltt, 如 果 利用 式 (2.9.7) 定义 一 组 数 by,b1,--- bm 便 得 到 关系 式 
boz™ 十 了 2 l + 十 bm 
dozT + a12Tm tH Am 
此 关系 式 得 以 成 立 的 分 母 最 小 阶 数 m 就 是 式 (2.9.3) 成 立 的 最 小 数 m。 根 据 定理 2.9.1, 
这 个 最 小 的 m 值 等 于 矩阵 5 的 秋 。 上 述 结果 可 以 用 下 面 的 定理 来 表述 。 
定理 2.9.2 06 HERE S = [s 具有 有 限 大 的 秩 ， 当 是 仅 当 级 数 


= 80+ 312 1+822 ?+ 


R(z) = so + 827) + s377? + 


是 变量 > 的 有 理 式 前 数 。 当 这 种 情况 发 生 时 , 矩阵 SER TO R(z) 的 慨 点 个 数 ， 其 
中 包括 极点 的 多 重度 在 内 。 

运用 定理 2.9.2, 可 以 得 到 有 关 ARMA 模型 的 - -个 重要 结果 。 

例 2.9.1 令 一 线性 时 不 变 的 因果 ARMA 过 程 由 


P 4 
of)rzo i) = J aGjetn - 7) (2.9.9) 
=0 j=0 


产生 , 其 中 ， e(n) 是 一 个 激励 白 噪声 序列 。 不 失 一 般 性 , 假定 a(0) = 1, 并 其 MA 阶 数 g 
小 于 成 等 于 AR 阶 数 p, Hg < pe ARMA BAYH PG H(z) 定义 为 


Cyt, BO) + (Iz + + blg) 
H(z) = ZrO = G0) Pallet aae F (2.9.10) 


在 定理 2.9.2 PERR m = p, 并 令 
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显然 , 对 ARMA(p, g) 模型 式 (2.9.9) 应 用 定理 2.9.2, 立即 有 重要 结论 ; 由 ARMA 模型 的 
冲 激 响 应 h(i) 构造 的 Hankel 矩阵 A 的 秩 等 于 p, B 
A(O) AG) A(2) + 


ACL) R(2) R3) + 
rank(H) = rank A(2) M3) MB) ，… =p 


利用 一 个 ARMA (p,q) 模型 的 Hankel 矩阵 的 秩 等 于 p 这 一 结果 ,可 以 分 析 ARMA 
建 模 时 AR 参数 的 唯一 可 辨识 性 - 这 一 可 辨识 性 是 Gersch 分 析 的 De9 。 对 这 一 分 析 及 其 
应 用 有 兴趣 的 读者 也 可 参考 文献 524, pp.87~89]。 


2.10 Hadamard 和 矩阵 


Hadamard ERF ÆA 信息论 和 信号 处 理 中 一 种 重要 的 特殊 矩阵 。 
定义 2.10.1 五 , € Rnxn 称 为 Hadamard 矩阵 , 若 它 的 所 有 元 素 取 + 或 者 -1, 并 
用 满足 
再 .ET = HUH, =ni, (2.10.1) 


关于 Hadamard 和 矩阵 的 构造 ， 有 "下 面 的 注意 事项 。 
(1) 观察 知 , 用 -1 9 Hadamard 矩阵 的 任意 一 行 或 者 任意 一 列 的 元 素 ， 得 到 的 结 
果 仍然 为 一 Hadamard 和 矩阵 。 于 是 , 可 以 得 到 第 1 列 和 第 1 行 的 所 有 元 素 为 +1 
的 Hadamard 矩阵 ， 并 称 之 为 规范 化 Hadamard JERE. 
(2) 容易 验证 at AEEA. 
对 Hadamard 矩阵 进行 规范 化 , 将 大 大 方便 大 维 数 的 Hadamard RERIK. K 
的 定理 给 出 了 规范 化 的 标准 正 交 Hadamard 短 阵 的 一 种 通用 构造 方法 。 
定理 2.10.1 $ n=2, 二 1,2,…， 则 规范 化 的 标准 正 交 Hadamard HEA AI 
用 构造 公式 : 


1 |H, H, LT ı 
Hy, = | al ， Mae [ 1-1 | (2.10.2) 

证 明 用 数学 归纳 法 证 明 。 显然, H, 是 规范 化 的 正 交 Hadamard EM, 因为 容易 验 
证 HIH, = HHT = I,e 假设 n= 2* 时 Hy 是 规范 化 的 正 交 Hadamard JERE. MA 
HE Hy = Hy He = Tyrx2ro TH WF n= 2, 容易 看 出 


n 


Hi [He He 
”VlH» -Hy 
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满足 正 交 条 件 ， 即 


| 


Torti xant 


Hy 
-Hy 


Hy 
Hy 


‘T 
Fe 
Tn] | 


T 
ak 
T 

oe 


| 
| 


类 似 地 ,容易 证 明 Hyn Hin = Ianya 另外 ,由 于 Hy 是 规范 化 的 , 所 以 hues 


Hs Hon 
也 是 规范 化 的 。 因 此 ， 定 理 对 于 n = 2*+1 也 成 立 。 


=| _ 


z 
Boe cox 


0 


2Tyrx2s 
Ovr or 


(2.10.3) 


n 


ba nadane 
® rT 
四 
Y HAHAA 
1 1 1 1 
1 
e ~- 
1 1 1 1 
annann 
1 1 1 1 
AA 
— 


式 (2.10.2) 也 可 以 利用 矩阵 的 Kronecker 积 写成 


例 2.10.1 当 n=3=8 了 时, Hadamard 矩阵 


间 (0,1) 上 的 分 段 线性 着 数 。 如 果 用 dolt), 


区 


容易 看 出 , Hadamard 和 矩阵 的 每 一 行 都 是 


,由 的 分 别 表示 Hadamard 矩阵 第 1~8 TAR, 则 如 图 2.10.1 所 示 。 


b(t), 


图 2.10.1 Hadamard 和 矩阵 每 行 的 波形 
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由 图 2.10.1 ABB, dy (t), o, (t),-- b(t) 这 从 个 矩形 脉冲 函数 相互 正 交 , 即 


了 ddd; (Hat = fi tai (2.10.4) 
当 H A Hadamard JERRI, Stew Y = HX RA Hadamard BH. HF 
Hadamard JERE EHIME IE HEE, FFA CRAB +1 或 -1， 故 Hadamard 4E 
阵 是 唯一 只 使 用 加 法 和 减法 的 标准 正 交 变换 。Hadamard 和 矩阵 可 以 用 作 移 动 通信 中 的 纺 
码 , 得 到 的 码 称 为 Hadamard 码 (RER Walsh-Hadamard 码 )。 另 外 , 由 于 Hadamard 矩阵 
的 行 向 量 之 间 的 正 交 性 , 行 向 量 可 以 几米 仿真 码 分 多 址 中 各 个 用户 的 扩 频 波形 向 基 。 


本 章 小 结 


AEA BREA RASH: 一 类 特殊 矩阵 与 矩阵 的 运算 有 关 ， 如 互 换 矩 
阵 、 置 换 矩 阵 、 选 择 认 阵 、 带 型 矩阵 、 相 似 矩 阵 以 及 相合 矩阵 等 。 另 一 类 特殊 矩阵 与 有 
关 事 物 的 抽象 表示 有 关 ， 如 循环 矩阵 、Hermitian 2. PUARE, Vandermonde #% 
阵 、Fourier 矩阵 Hankel 矩阵 和 Hadamard 矩阵 等 。 

在 讲述 一 些 特 殊 矩 阵 时 , 本 章 还 依次 介绍 了 置换 矩阵 在 讶 信号 分 离 中 的 应 用 ; 中 心 化 
矩阵 和 对 角 加 矩阵 在 数理 统计 中 的 应 用 ; Vandermonde 矩阵 在 谐 波 恢复 中 的 应 用 ; Fourier 
SEM Ze Fourier 变换 中 的 应 用 ; Hankel 矩阵 在 系统 辨识 中 的 应 用 ; Hadamard 矩阵 在 移动 
通信 的 编码 和 扩 频 信和 号 仿真 中 的 应 用 。 


习 题 


21 证 明 多 个 正 交 和 矩阵 的 乘积 仍然 为 正 交 短 阵 。 

2.2 令 4 为 实 对 称 矩 阵 , 为 实 反 对 称 和 矩阵 ， 且 这 两 个 矩阵 是 乘积 可 交换 的 ， 即 
AB = BA. if, # A-B EFRR, N (A+ B)(A-B) AER. 

2.3 令 Eup A EER A 第 p 行 乘 常数 a 的 基本 矩阵 , A Eoas 第 9 TH 
非 零 常数 a 后 , 加 到 A 的 第 p TOERE. 证 明基 本 和 矩阵 的 下 列 性 质 : 

(1) det (Exc) =a 

(2) det (aver) =1. 

2.4 4 Ay, E VZAME. 

(D) A 可 对 角 化 的 条 件 。 

(2) AF an = O99 = … = aun， 且 至 少 有 一 个 元 鞘 a, #0 > j) 证明: A 不 可 对 
角 化 。 
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习题 
25 令 
ti the lin 
ral? tm ton 
0 0 tan 
HEZAKE. 证 明 : 


Ke 


(1) SHEP 1 <icntt,=0, UT HR. 
(2) 49 tp A 0.i=1,2, ,ns WP EAR. 


2.6 WER 
3 2 -2 
A= | -e 一 1 e 


4 2 一 3 


值 , 使 得 B= PAP 为 对 角 和 矩阵 。 JPME: P R B. 


2.7 A A 为 拔 等 矩阵 和 对 称 算 阵 , 让 明 A 是 六 正定 的 。 


2.8 证 明 : # A 为 正定 矩阵 ， 并 且 F(z) = 》 enz cn > 0, W F(A) 正定 。 


n=0 
2.9 SIEM Aine, 并 且 其 元 素 ay > 0. 证明 


awhi e 


|: n>0 
az 


a? 


正定 。 
2.10 WH: 一 个 维 数 为 奇数 的 斜 对 称 矩 阵 ， 其 行列 式 必 等 于 零 。 


为 一 


化 为 


ae 


2.11 4 2 =(1,3,5,7, 9)", KER A,B,C, 使 得 
(1) 17 +3? +57 +7? +9? =@7 Ag. 


(2) (1 +3+ 5+7 +9)}?/5 =a" Be. 


(3) (1 — 5} + (3 — 5)? + (5-5)? + (7-5)? + (9 - 5} = sT Cz. 


“ iJ- 


a? + ay? + 2z? + 2bry + 2z + 2yz = 4 


ERR, 它 将 一 次 曲面 方程 


椭圆 柱 面 方 程 n + 462 = 4, OR a,b 的 数值 和 正 交 矩阵 Po 
2.13 一 个 n 阶 Helmert 矩阵 五 。 的 第 14TA nT, 
11, p.71] 


ni 


1 
ve 


(ay, i0 sa], Avs t+), i=1,2,. 


其 他 n 一 1 行 具 有 分 块 形 


sanl 
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Ah, 17 和 08 分 别 表示 元 素 全 部 为 1 和 0 的 i 阶 行商 量 。 例 如 ， 


VA LV 1v4 Vk 

g,- |Y -Vv 0 0 

4 |1v6 1/v6 -2/v6 0 
VE UV 1/v12 —3Vv12 


AY 
=- [k] 
RH, h= n1211, 而 K 表示 H 的 最 后 wm -1 行 。 


(1) 让 明 HHT = 
(2) 对 于 n 阶 向 基 zw, 证 明 


K n 阶 Helmert 矩阵 分 抉 为 


中 一] 元 2 = aThThe 
式 中 ,5 = ED a: 并 证 明 


n n 2 
= D (« 一 = 
k 


izl =] 


可 以 表示 为 
Sp =a K Ka 


{3) 推导 递 推 公式 
Sn = Sy + (1-1/1) (En_1 — Fa) 
RP, Bai =R Ly jo 
214 SAR B HIERERE, 并 且 满 足 


iI- MMI -B| = -M4 -Bl, YA p 


WH AB = O (FHH). 
2.15 证 明 ; # 4 为 实 余 对称 和 矩阵, 则 AHI 非 奇 异 。 


2.16 ”假定 4 是 一 实 斜 对 称 矩 阵 , 证 明 Cayley 变换 T = (I-AI + Ay! NIE 


iE. 


2.17 © 4 REZE, HAHI FAF. 证 明 : 矩阵 A 可 表示 为 Cayley 变换 


={(I -SI+S)-! 


RH, 5 ASR EAE. 


2.18 +P ER nx n ERER, 证 明 存在 一 个 正 整数 使 得 Par. (所 


示 : 考虑 矩阵 序列 P, P,P3,…。) 
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2.19 BE P HQ 是 两 个 ”xm BH, 证 明 PQ 也 是 一 个 nxn 置换 矩阵 。 
2.20 证明: 对 于 每 一 个 矩阵 A. 都 存在 一 个 三 角 知 阵 全 ,使 得 TA 为 西 矩阵 。 
2.21 令 4 是- 个 给 定 的 矩阵 。 证 明 : 可 以 找到 一 个 主 对 角 线 上 的 元 素 取 +1 ANE 
MET. 使 得 74 + 了 非 奇 异 。 
2.22 证 明 ; 4 W=A+jBH Hermitian Hif, AA 非 奇 异 , 则 行列 式 


| det(H)/? = |API7+ AT BAB] 


2.23 $ A,SAnxn HH, AS IEG. 

(1) WEH (STIAS) = S-1A?S 和 和 (5-145)3 = 3 14325。 

(2) 利用 数学 归纳 法 证 明 (S-1AS)* = 5-14*S, 其 中 ,上 为 正 整数 。 

2.24 证 明 : 车 A 是 可 对 角 化 的 , FH BS 4 相似, 则 B 是 可 对 角 化 的 。( 提 示 : 
假定 SAS = D p WAW =B. ) 

2.25 假定 B 与 4 相似 , 证 明 : 

(G) B+ol Hj Atal 相似 。 

(2) BT 与 AT 相似 。 

{3) # A,B 非 奇异 , WB 与 4 1 相似 。 

2.26 假定 AB X nxn WE, HHS 非 奇 异 , 证 明 ABS BA 相似 。 

2.27 证 明 : # n xn HER A b nxn BAER T A W ART. 

2.28 4 A 是 一 个 mxm XE, 证明 B = (A+ 4T)/2 为 对 称 矩 阵 ， 而 C = 
(A 一 AT)/2 为 斜 对 称 算 阵 。 

2.29 给 定 n+1 个 不 同 的 数 ro,zi…… ,zs 和 任意 n+1 个 数 的 集合 {yo Y Yah 
则 存在 一 个 唯一 的 多 项 式 pla) = ao + aye +a? + tans”, 使 得 p(x0) = vo ple) = 
Yit Pep) = Yno K a0,41,… ,an 的 表达 式 。 

2.30 AE n+ 个 不 同 的 数 Ao bo Bn 和 任意 n+1 个 数 的 集合 {yY Yp 
证 明 : 存在 唯一 的 一 个 多 项 式 y(z) = age”? + aye? +--+ 二 anepe 满足 约束 条 件 y(0) = 
Yor ¥'(O) = y ,V9(0) = ua» EP yO 表示 wa, 

2.31 BaopP1o 第 i 行 和 第 5 列 元 素 为 1/G +9 —1) A nx m HERA Hilbert 第 
阵 。 令 A 是 一 个 6x6 维 Hilbert E, 并且 


b= [1,2,1,1.414,1,2]7, b+ Ab = [1, 2,1, 1.4142, 1, 2]7 


试用 MATLAB 求解 矩阵 方程 Az = 五 和 As, = b+ Ab, 并 比较 z, 和 za。 为 什么 尽管 
向 量 A 的 扰动 很 小 , =: 和 zs 却 相差 很 大 ? 

2.32 36068] SERE A = [ahi j = 1,2,3,4 RRA Lorentz HEME, SER s= Ay 使 
得 二 次 型 Q(z) = aT Aw = x, — 23 - 23 — 22 不 变 , 由 Q(x) = Qu). 证 明 两 个 Lorentz 
撼 阵 的 乘积 仍然 为 Lorentz 矩阵 。 
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2.33 Bep] 一 个 nxn EE M 称 为 Markov 证 阵 ， 若 其 无 素 满足 条 件 m;; > 
0 omy = 19 =1,2,… ne BE P AQ 均 为 Markov 矩阵 , 证 明 ; 


i=l 


(1) 对 丁 常 数 0 <A < E, HERF AP + (1— A)Q 是 Markoy JERE. 

(2) ERE PQ 也 为 Markov IFE. 

2.34 [36p265 一 个 由 xl fap at z 称 为 概率 向 量 (probability vector),， 若 其 元 素 满足 
与 概率 公式 类 似 的 条 什 2, > 0 和 Soa, = 1. 证 明 : 若 = 为 概率 向 量 ， 则 矩阵 M 是 
Markov EPE 当日 仅 当 Ma 是 概率 向 量 。 

2.35 $ Yi 二 (ZIT2 ph i= 1,2,… ,nn BRT pan Ep H n PMR. 
HE J = J(y, £) = [8y,/02;] BAR y,(21,2,--+,2,), i= 1,2,---,n AY Jacobian Hi 
阵 ， 其 行列 式 称 为 Jacobian 行列 式 。 式 中 , y = [un Y2 Yn æ = fey, ta En] 
证 明 J(z,y) J (y, 2) = J(z,m)o 

2.36 $ nxn SBE X ALY AIAH JH Y = AX AT. 证 明 : Jacobian 
行列 式 JI (Y, X) THEM A HAT n +1 次 方 , 即 CY, X)| = [Alt 

2.37 证 明 : # A 为 正规 矩阵 ( 即 满足 A4 = AMA), 则 4 一 XT 为 正规 矩阵 。 

2.38 $ B AEREE, 并 且 在 在 一 个 角度 9, 使 得 Aci? + AMe i? > 0, 其 中 , A? = 
B. 证 明 A RICE. 

2.39 满足 条 件 AB = BA 的 矩阵 A 和 B 称 为 可 交换 矩阵 (commute matrix). 证 
明 : 苦 AA BEZH, 则 AM 和 B 可 交换 的 条 件 是 4 HEIRE, 

2.40 196.7226) A A ARIER, 证 明 A 为 正规 矩阵 ， 当 电 仅 当下 列 条 件 之 -成立 : 

()A=B+jC, 其 中 互 和 C 为 Hermitian 矩阵 ,并且 可 交换 。 

(2) A=U" bu, 其 中 U ABE, 月 D 为 对 角 卸 阵 。 

(3) A=UH, 其 中 , U ARM, WY Hermitian HEME, 并 U 和 五 可 交换 。 

24L È 加 usa En MRA AE 


ul + py Hu +--+, (tu =0 


的 线性 无 关 解 。 E 


Uy Ug u, 

W 起 ul 

W= : 
-1 位 一 m1 
uPD bd) yd 


称 为 Wronskian KEP (2, BUFF HSS War tia, sty) = det(W) 称 为 wuvaa ty 的 
Wronskian 上 函数 。 证明: 
WU) = Warsta ta) = Wl op (~ f° pilas) 


2.42 证 明 : 4 A 是 斜 Hermitian 矩阵 ， 则 (Aa, æ) = 0 HER HHE x eC” 成 立 。 


第 3 章 Toeplitz 和 矩阵 


Toeplitz 和 矩阵 是 数学 和 工程 中 应 用 睛 泛 的 特殊 算 阵 之 一 。 因 此 , 有 必要 专题 讨论 这 种 
矩阵 的 性 质 ( 半 正 定性 )。 由 于 工程 中 许多 典型 问题 都 涉及 Toeplitz 线性 方程 组 的 求解 ， 
所 以 还 有 必要 就 Toeplitz 线性 方程 组 的 求解 进行 详细 介绍 。 利 用 Toeplitz 矩阵 具有 的 非 


常 特殊 的 结构 ， 可 以 推导 递 推 求解 及 快速 求解 的 一 些 方法 。 本 章 将 对 : 


中 的 几 种 典型 算 


法 予以 重点 阐述 。 最 后 一 节 将 介绍 Toeplitz 矩阵 的 快速 余弦 变换 。 


3.1 


半 正 定性 


在 数学 和 工程 (例如 信号 处 理 与 系统 理论 等 ) 问题 中 , 常常 需要 求解 具有 特殊 结构 的 


线性 方程 组 Ar =b, 其中 


ag ay 
ay 
A=j2 “a 


ün üni 


= [oj]2=o (3.1.1) 


ao 


这 种 形式 取 A = [a;l 的 矩阵 称 为 Toeplitz 和 矩阵 。 因 此， 任何 一 条 对 角 线 取 相 周 元 
素 的 矩阵 是 Toeplitz 矩阵 。 之 所 以 称 为 Toeplitz 矩阵 ， 乃 是 这 种 特殊 矩阵 是 Toeplitz T 
1900 年 代 初 在 研究 与 Laurent 级 数 有 关 的 双 线性 省 数 的 一 篇 论文 中 提出 来 的 el。 

最 常见 的 Toeplitz 矩阵 为 对 称 Toeplitz EPE A = [apyl 即 其 元 素 还 满足 对 称 
关系 a_; = ai = 1,2,… ,n。 可 见 , 对 称 Toeplitz 矩阵 仅 由 其 第 1 行 元 素 就 可 以 完全 描 


R. 因此 , 常 将 对 称 Toeplitz 矩阵 A 简 记 作 A = Toeplao al 


ran] 


若 一 个 复 Toeplitz 矩阵 的 元 素 满足 复 共 岳 对 称 关 系 a_ = a7, 即 


则 称 之 为 Hermitian Toeplitz 矩阵 。 


ay 
ag 


a 


a 
ai 


20 


(3.1.2) 
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特别 地 , 具有 特殊 结构 


0 一 CI -a3 一 Qnr 
a 0 —at aha 
As=|a a 0 `^ : (3.1.3) 
So a] 
Oy, Gp ttt ay 0 


ao ~aj —a3 一 cn 
a ao a 一 Ga-1 
A= la a, a (3.1.4) 
: 一 吐 
Gn Qna- ue ay ay 


称 为 斜 Hermitian 型 Toeplitz 矩阵 。 RP, ao 为 实数 。 显然 , 一 个 斜 Hermitian 型 Toeplitz 
HERF A 可 以 写作 A = agl + Ag» 其 中 ， Ag HEt Hermitian Toeplitz 4ER. #1 Hermitian 
Toeplitz 矩阵 和 斜 Hermitian 型 Toeplitz EREE AF BS BL ORR R E Ty eA Ht RA 
到 (69) [202] , 

Toeplitz 和 矩阵 在 数学 和 工程 中 有 有 着 广泛 的 应 用 。 例 如 , 在 信号 处 理 中 ,有赖 于 通过 求 
解 Toeplitz 矩阵 方程 组 获得 的 参数 包括 : 递 推 数字 小 波 器 的 系数 9.201 、 一 维 利 一 维 平 
稳 白 回归 (AR) 模型 的 AR 参数 754 PP.368~3791255] 等 。 又 如 ， 信 号 和 图 像 的 恢复 也 可 归 
结 为 Toeplitz 矩阵 方程 组 的 求解 T. 其 他 的 应 用 例子 有 : 仿 微 分 方程 和 卷 积 型 积分 方程 
的 求解 、 Pade 逼近 和 控制 理论 中 的 最 小 实现 问题 等 (参见 文献 [67| 及 其 中 的 参考 文献 )。 

F 面 基 信 号 处 理 和 时 间 序 列 分 析 中 对 称 Toeplitz 矩阵 的 一 个 典型 例子 。 

例 3.1.1 考虑 一 实 的 AR 模型 


z(t) +Y aat - i) = elt) (3.1.5) 


t, e(t) 为 零 均值 、 WH o? 的 高 斯 向 噪声 。 用 z(t -六 同 乘 上 式 两 边 ， 然 后 取 数 学 期 
望 , 则 得 到 有 名 的 Yule Walker 方程 


Sars = 07 (1) (3.1.6) 
i=0 
EM 1=0,1,… ,p， 则 有 
ro Toa rp 1 o? 
" Ta "ott ay _ 0 (3.1.7) 
ea mlsl Lo 
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显然 , 矩阵 方程 Re = 6 的 实 协 方差 矩阵 R= [rfj 就 是 Toeplitz 矩阵 。 由 于 实 协 
HABA ARM, Wry, = rg k=1,2,---, WOR AIER Toeplitz 短 阵 。 
考查 式 (3.1.1) 的 对 称 Toeplitz EP, 令 其 主子 式 为 
Di = |Ak], k=0,1,,n (3.1.8) 
则 As 是 正定 的 , 当 且 仅 当 D > 0, 0<k <n. 然而 , 值得 指出 的 大 ,类似 的 结论 对 于 对 
称 Toeplitz HERE A, 的 半 正 定性 却 不 一 定 成 立 。 更 具体 地 说 ，D > 0,0<k <nik—H 
EMT A, 的 半 正 定性 并 不 是 充分 条 件 。 请 看 一 个 反例 T, 


00a 
A,=|0 0 0 (3.1.9) 
a0 0 


在 这 个 例子 中 ，Do = D, = Dz = 0。 但 基 , MERRE 2 行 和 第 2 列 组 成 的 主子 式 等 
F-a, 因此 A, 不 是 举 正定 的 。 严 格 说 来 ， 当 且 仅 当 所 有 的 主子 式 都 大 于 或 等 于 零 时 ， 
对 称 Toeplitz 矩阵 才 是 半 正 定 的 。 显 然 ， 这 一 条 件 的 判断 比较 麻烦 。 下 面 的 定理 给 出 了 
对 称 Toeplitz 矩阵 半 正 定性 的 -种 简单 检验 方法 它 不 需要 计算 任何 主子 式 。 

定理 3110 $ Ry = ry, 44,5 一 0,… ,p 是 一 个 对 称 Toeplitz HERE. 若 m 是 
满足 Rm 正定 和 Dn = 0 RRR DEEK, NEE Rp > m 是 六 正定 的 , 4HR 
当 系 数 {rai > m} 服从 递归 方程 


m 
m=- ankyrin, i=m+lmt+2,..,p (3.1.10) 
k=1 


RIH, {am(k)}h 1 <k <m 为 AR(m) 模型 的 系数 。 
证 明 参见 文献 [297]。 
Toeplitz 矩阵 具有 以 下 性 质 B869]。 
(1), Toeplitz 矩阵 的 线性 组 合 仍然 为 Toeplitz 和 矩阵。 
(2) # Toeplitz 矩阵 A 的 元 素 ai = al 让 则 A 为 对 称 Toeplitz Hi. 
(3) Toeplitz SERE A 的 转 置 AT 仍然 为 Toeplitz 矩阵 。 
(4) Toeplitz 矩阵 的 元 素 相对 于 交叉 对 角 线 对 称 。 


3.2 Toeplitz 线性 方程 组 的 Levinson 递 推 求 解 


在 统计 信号 处 理 和 其 他 相关 领域 , 经常 需要 求解 线性 方程 组 Ar =b, 其 中 , RAGE 
BE A 为 对 称 Toeplitz 和 矩阵。 这 类 方程 称 为 Toeplitz 线性 方程 组 。 白 然 地 ， 我 们 对 求解 
Toeplitz 线性 方程 组 的 快速 算法 感 兴趣 。 快速 算法 本 质 上 应 该 是 递 推 的 ， 而 及 与 在 单位 
上 正 交 的 多 项 式 (A Levinson 多 项 式 或 Szega 多 项 式 243) 的 递 推 计算 密切 相关 , 算 
法 的 复杂 度 为 Omn?) 其 中 , n+1 为 对 称 Toeplitz 矩阵 的 维 数 。 
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递 推算 法 的 基础 在 十 Toeplitz ERRA ERR PRAT SAA. Levinson 递 推 臣 
求解 Toeplitz 线性 方 称 组 的 一 类 有 效 算 法 。 对 于 实 的 正定 Toeplitz 矩阵 ， 其 预测 多 项 
式 (Levinson 多 项 式 ) 的 经 典 Levinson HE 279] 在 计算 上 存在 很 大 的 元 余 ，Delsarte 与 
Genin 提出 了 - -种 分 基 Levinson 算法 Ho。 随 后 ， 他 们 义 提 出 了 分 基 Schur 算法 921, 
后 米 ，Krishna 和 Morgera 9) 将 分 基 Levinson 递 推 从 实 Toeplitz 线性 方程 组 推广 到 复 
Toeplitz 线性 方程 组 。 

本 节 先 讨论 经 典 Levinson 递 推 ， 然 后 介绍 实数 情况 下 的 分 基 Levinson 递 推 和 分 基 
Schur 算法 ， 最 后 聚焦 复数 情况 下 的 分 基 Levinson 算法 。 


3.2.1 经 典 Levinson 递 推 
考虑 前 向 m 阶 线性 预测 
2(n) = — x al (n ~i) (3.2.1) 


和 后 向 m 阶 线性 预测 

Sn—m)= -Yarn mtd (3.2.2) 

i=l 
BE, af” 代表 m 阶 预 测 器 的 第 ; 个 系数 , * RRB. 
定义 前 向 预测 误差 
Fín) = x(n) ~ &(n) 

HEE VERB Ef f(nje"(n k)}}=0,1 ck om, RAR (3.2.1) 后 , MBA 
方程 HAAAY Yule-Walker 77 #2): 


RO RCD Rm) JJA] [En 
RO RO) oe Rem +1) a _ ° (92.3) 
Rim) Rom - R@ | [a 0 


RP, RO = Efztn)z*(n 一 让 是 z(n) MADER, T Em = Doan) R(—1) E m 
t=0 
阶 预 测 误差 小 波状 的 误 关 输出 功率 。 简 写 式 (3.2.3)， 前 向 预测 误差 滤波 器 的 Yule Walker 
方程 为 
5 al) Jem, k=0 
x m9 全 k-12 m (3.2.4) 


BLN PRAMS, 并 注意 到 R (k-i) = Ra-k) 可 得 后 向 预测 误差 滤波 器 的 Yule- 


Walker 方程 为 
Re = 人 


=0 


0 (3.2.5) 
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类 似 地 , 对 于 m 一 1 阶 前 、 后 向 顶 测 误差 滤波 器 ,它们 的 Yule-Walker 方程 分 别 为 


moi 
™—) pik) = Em-1> k=0 32 
Zo (kD 人 k= 12 ml 626) 
m1 
- 0 k=0,1,---,m-—2 
aD Rk i) = pos 3.2.7 
L a Bj, kamol (3.2.7) 
4 
m-l 
D of Rim - 8) = -Am Ema (3.2.8) 


a0 
RP, bm REAR, 称 为 反射 系数 或 偏 相关 (partial correlation) 系数 。 上 式 的 共 
HERA a 

So af RG — m) = -ph Em1 (3.2.9) 


i=0 


Tit, 综合 式 (3.2.3) ~ 式 (8.2.9), WA 


R(0) R(-1) + R(-m) 1 
R(1) RO) © R(m+1)| | |a» om 
: : : ; [tba] : 
Rim-1) Rim-2) + R(-1) aH ar 
Rm) R(m-1) RO) 0 1 
Fn 一 和 
= : + Bm : (3.2.10) 
-6,.E 0 
和 Ena 
比较 式 (3.2.3) 与 式 (3.2.10), 显然 有 
af = al + Bak, i=0b ,ml (3.2.11) 
Bn = of) (3.2.12) 
Em = {1 — llnl) En- (3.2.13) 


这 就 是 求解 Toeplitz 线性 方程 组 (3.2.3) 的 经 典 Levinson IHE (也 叫 Levinson-Durbin i 
W) 注意 ， 由 于 预测 误差 能 量 E, HATS, 所 以 式 (3.2.13) 给 出 了 反射 系数 的 主要 性 
质 : 它 是 有 界 的 , 即 Bal < 1。 


3.2.2 Levinson 算法 

上 一 小 节 推导 了 复数 情况 下 的 Levinson 递 推 。 MEREKA., BU zfn) AER 
器 系数 a(" 都 是 实数 时 的 Levinson 递 推 。 此 时，Levinson 递 推 的 乘法 运算 可 以 减少 一 
半 。 这 样 一 种 算法 称 为 分 大 Levinson 递 推 ， 下 面 用 两 种 不 同 的 方法 推导 之 。 
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Lo SERA e185) 
在 a(n) 为 实数 的 情况 下 , HA HKE R-i) = Ri), 因此 ，Yule-Walker 方程式 
(3.2.4) 和 式 (3.2.5) 可 以 分 别 写作 


Em 
0 
re) [am] = : (3.2.14) 
0 
0 
rm) eae ; (8.2.15) 
四 En, 
sth 
RO) RG) = Rm) 
re [PD RO > Reem —1) 
Ron) Ri(m—1) -- RO) 
为 对 称 Toeplitz 矩阵 , H 
a) 一 


E ob ee sab 


为 方便 计 , 令 TO 第 工行 元 素 为 [co,er,… cm] 即 ce = R(i)。 

令 J AEREE, ITS = TORR Toeplitz 矩阵 的 交换 不 变性 ) 及 .JJ = I(E% 
SEM MOE) 容易 证 明 , 两 个 线性 方程 式 (3.2.14) 和 式 (3.2.15) 只 是 同一 问题 的 等 价 
表达 。 它们 相 加 得 到 

re [io] t PET) = nee Olt (8.216) 
或 简写 为 
Tp) = [may0 ,0, Tt] (3.2.17) 
“ 式 中 , 标量 rn。 称 为 分 基 残 差 能 量 ; p™ < RH 称 为 分 基 横向 预测 参数 向 量 , 定义 为 


pr) = pl, phot 


ay 
14a 


LJ gam fo tom 
pi) = [aim] +| | = X (3.2.18) 
af, + af 


aR? +1 
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向 量 p™ 的 第 ;个 元 素 为 
PPa +a, = 01 (3.2.19) 
显然 , pl”? 只 有 对 称 性 pl” = pl), 即 向 基 p™ 是 对 称 的 向 量 。 

由 此 可 以 看 出 ， Yule-Walker 方程 式 (3.2.14) 中 的 参数 向 二 af 是 非 对 称 问 量 ， 而 式 
(3.2.17) 中 的 参数 向 量 pO) 则 古 对 称 的 向 量 。 这 一 对 称 性 意味 着 只 需要 估计 向 基 po 中 
的 m/f2 个 参数 pi = 12,… ,my/2。 这 就 是 分 基 的 涵义 。 

由 式 (3.2.17) 的 第 1 行 得 到 


Tn = [Cos cme s Clp (3.2.20) 
FIH pO 的 对 称 性 ， 式 (3.2.20) 的 计算 可 减少 一 半 的 乘法 和 运算， 
(m-1)/2 

D leit cmp”, m 二 奇数 - (3.2.21) 

i=0 

(m—2)/2 
Fn = €m/2P raja t DO (tend, m= 个 数 (3.2.22) 
i=0 


上 述 二 式 实际 上 是 分 革 协 方差 的 内 积 。 
下 面 推导 分 基 横向 预 浏 参数 向 量 pO 的 递 推 公式 。 很 明显 , 这 种 递 推 必须 能 够 保持 
更 新 后 的 pf 仍然 其 有 对 称 性 。 因 此 , 口 然 会 想到 下 面 的 递 推 形式 ; 


0 
(my 
pred = P; ] + [| -an Ga (3.2.23) 
0 


这 就 是 所 谓 的 分 基 Levinson 递 推 。 将 分 基 Levinson 递 推 公式 (3.2.23) 与 经 典 Levinson 
HE (3.2.11) 作 一 比较 ,不 难看 出 二 者 的 明显 差别 : 由 于 pO) 的 对 称 性 ， 分 基 递 推 的 
乘法 运算 是 经 典 递 推 的 一 半 。 此 外 , 分 基 Levinson 递 推 中 的 系数 am 起 着 与 Levinson i 
推 中 的 反射 系数 (成 偏 相关 系数 ) 8。 相同 的 作用 ， 故 将 am 称 为 分 基 反 射 系数 (或 分 基 
偏 相关 系数 ) 是 合适 的 。 

分 基 Levinson 算法 的 最 后 一 个 需要 解决 的 问题 着 分 基 反 射 系 数 am 的 计算 。 为 此 ， 
对 式 (3.2.23) 左 乘 对 称 Toeplitz 矩阵 TO. 4 cm = [mars Ome el YW 


pith) po] = Ee cn] Po] = [Fm 0, 50, Tm Yal? (8.2.24) 
其 中 , 使 用 了 式 (3.2.17) H 
Im = hp™ {3.2.25) 
类 似 地 , 有 
Tt) [pe] = Hm Tm 0 ,0 Ta] ™ (3.2.26) 


0 
pon a = Pint Tin nb0 505 Tm- Fal (3.2.27) 
0 
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于 十, 用 TO) 左 乘 式 (3.2.23) 可 得 到 


Tes € r Tmt 
=|: ]+].]}-a,] : (3.2.28) 
ot de} le) i 
Tm Tm Ym- 
由 二 我 们 只 对 am 感 兴趣 ， 故 由 式 (3.2.28) 的 第 2 行 立即 有 
Om = Tm/ Tm (3.2.29) 
综 上 所 述 , 分 基 Levinson 算法 主要 由 分 基 Levinson 递 推 公式 (3.2.23), 分 基 协 方差 


的 内 积 公式 (3.2.21) 和 公式 (3.2.22), 以 及 分 基 反 射 系数 计算 公式 (3.2.29) 三 部 分 组 成 。 

2， 多 项 式 方法 

前 面 用 矩阵 的 方法 推导 了 分 基 Levinson AAR., 现在 介绍 推导 递 推 公式 的 另外 一 
种 主要 方法 一 多项式 方法 。 

考查 任意 (m +1) 维 列 向 量 zt = fe af [P,e T, FBE, E mm 
可 以 表示 为 一 个 m 阶 多 项 式 zm(z) = Sales, i， 反 之 亦 然 。 对 于 一 个 给 定 的 多 项 式 


i=0 


zn(z) = Ds i, & inl) 表示 zm(z) 的 互 反 多 项 式 , 即 


kn(2) = 22,,(271) = Sa = ams zi (3.2.30) 
i=0 i=0 
AA RSE J 和 向 其 符号 ， 可 得 多 项 式 tm) 的 系数 向 量 oY 与 它 的 互 反 多 项 式 
Enla) 的 系数 向 量 A = a af, ,JT 之 间 的 关系 E = Jano 
Pr So, 则 称 向 量 zem) 为 对 称 向 量 ; Hao = am, BRA oo) 为 
反对 称 向 量 。 类 似 地 ， 若 zs(z) = žm) 就 称 多 项 式 zm(z) 为 对 称 多 项 式 ; E rm{z) = 
一 Zm(z)， 则 称 多 项 式 oml) 为 反对 称 多 项 式 。 
利用 以 上 符号 , 多 项 式 ax(z) 的 系数 向 其 af9 = fal, al”, … al )T 是 对 称 Toeplitz 
线性 方程 组 
T®a® = [本 ,0 ,0 (3.2.31) 


的 解 。 
Levinson EAS (3.2.11) 也 可 以 用 多 项 式 形式 写作 


ay(2) = ay (2) + By22y_1(2) (3.2.82) 


反射 系数 B 在 数学 文献 中 常 称 为 Schur-Szegé 参数 。 式 (3.2.32) 在 有 关 信号 处 理 的 文献 
中 被 称 为 预测 多 项 式 , 在 有 关 数 学 的 文献 中 则 称 为 Levinson-Szeg6 公 式 。 
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现在 考虑 新 的 预测 多 项 式 集合 
Prlz) 一 ak-a(z) 十 zak-1(2) k=l2, ,n+l (3.2.33) 


注意 ,上 式 是 式 (3.2.19) 对 应 的 多 项 式 表 示 。 根据 上 述 构造 知 , pi {z) 起 对 称 多 项 式 , 因为 

CHA ppl) = 2tpp(z-1)。 另 外 , 式 (3.2.33) 与 式 (3.2.33) 的 比较 表明 , pi (z) 可 以 解释 为 

在 式 (3.2.32) PRS B = 1 得 到 的 。 由 于 反射 系数 具有 Ael < 1 的 性 质 , 所 以 很 白 然 地 ， 

可 以 把 p, = 1 视 为 一 种 奇异 情况 。 鉴 丁 此 ,以 后 将 多 项 式 ple) 称 作 奇异 预测 多 项 式 。 
利用 式 (3.2.32) 与 式 (3.2.33) 易 得 关系 式 


AgPe(Z) = a(z) + (2) Mk = 1+ By + (3.2.34) 


Sp» = pp, pO RRA MM SIL py(z) = TL ws! 的 系数 向 基 。 由 
式 (3.2.31), 式 (3.2.33) 与 式 (3.2.34) 可 得 结论 ; 向 量 p™ 是 对 称 Toeplitz WRAL 


THOp® = [r00 m], n= Eyl Ae (3.2.35) 


的 解 。 式 (3.2.35) 直接 给 出 结果 . 
Te = ap (3.2.36) 


i=0 


由 于 我 们 求解 原 Toeplitz 线性 方程 组 的 日 的 是 要 得 到 预测 滤波 器 参数 O 和 反射 系 

数 了 ,所 以 如 果 它 们 不 能 由 分 基 预 测 参 数 pO 和 分 基 友 射 系数 ax 恢复 的 话 ， 那 么 分 基 

Levinson 递 推 便 失 去 意义 。 幸 运 的 是 , 式 (3.2.33) 表明 ,预测 多 项 式 a,(z) 有 可 能 从 多 项 

式 ppl) 得 到 。 令 我 们 更 加 惊异 的 是 , aple) 还 可 以 利 几 两 个 相 邻 的 奇异 预测 多 项 式 的 

线性 组 合 确定 。 为 了 看 出 这 一 点 ,在 式 (3.2.33) PH 大 + 1 代替， 然后 借助 式 (3.2.34) 
消去 ál) Tat, 得 到 

(1— z)ar(2) = Pega (2) 一 和 ape(2) (3.2.37) 


上 式 直接 给 出 下 面 的 恢复 公式 : 
af) = af, Fp pi (3.2.38) 
这 一 公式 提供 了 分 基 Levinson 算法 与 经 典 Levinson 算法 之 间 的 联系 。 
下 面 推导 奇异 预测 多 项 式 三 项 之 间 的 递 推 关系 。 为 此 ， 先 借助 式 (3.2.37), 用 pele) 
和 ppl) 表示 alz) AAU, HA py_1(z) 和 p) 表示 a_1(z)。 然 后 ,将 这 些 结果 
代入 Levinson-Szegs 公式 (3.2.32)， 立 即 有 


Prt1(2) — (1 + 2)p8 (2) + azpiz) = 0, Or = Me-1(2 ~— Àk) (3.2.39) 


观察 入 的 定义 式 (3.2.34) 和 r, 的 定义 式 (3.2.35), 由 式 (3.2.13) 知 ， 式 (3.2.39) 中 的 分 


基 反 射 系 数 ak 可 以 写作 
Ok = Te/Te1, k22 (3.2.40) 
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注意 , 由 于 7, 可 以 利用 式 (3.2.36) 从 pe(z) 求 出 , 故我 们 可 以 得 出 结论 : 多 项 式 p,(z), k= 
1,2,… ym 十 1 名 以 迭代 使 用 式 (3.2.40) 和 式 (3.2.39) 连续 求 出 。 递 推 公式 (3.2.39) 和 公 
式 (3.2.40) 的 合适 初始 值 由 下 式 给 出 : 


Pol2)=2, plz)=14+2, N= (3.2.41) 


综合 式 (3.2.36), 式 (3.2.39)~ 式 (3.2.41) 可 以 得 到 下面 的 完整 分 基 Levinson 算法 。 


算法 3.2.1 (分 基 Levinson 算法 )a201 
输入 ITIL c0,c1,… ,cn 


PR Mbit 
pO =[2, pV =[L1T, m= k=2 
步骤 2 计算 
(k-1)/2 
n= J (atep, b= 
i=0 
人 一 2)72 
= cP + D tae, = 偶数 
i=0 


步骤 3 FPH (3.2.40) 计算 apo 
步骤 4 利用 式 (3.2.39) 中 的 第 一 式 计算 př, 


一 +p -apt 


其 中 , i = 1,2,… ,做 一 1)/2(k = 奇数 ) Uh (k — 2)/2k = 偶数 )。 
步骤 5 利用 式 (3.2.39) 的 第 二 式 计算 入: 


入 一 2 一 akAAK-1 


PRO 利用 式 (3.2.38) 计算 预测 参数 a, 
BRT 天 一 有 十 1, 并 重复 步骤 2 ~ PR 6, 进行 高 一 阶 递 推 , HE kon. 
我 们 看 到 , 矩阵 方法 和 多 项 式 方法 得 到 的 递 推 公式 是 完全 相同 的 。 在 后 面 , 将 使 用 多 
项 式 推导 复数 情况 下 的 Levinson 递 推 。 
算法 3.2.1 是 一 种 对 称 形式 的 分 基 Levinson HE. 现在 , 取 式 (3.2.33) 的 对 侦 形 式 
Pele) = ap-1 (2) — Za _1(2), k=1,2,+,n41 (3.2.42) 


易 知 By (2) 是 反对 称 的 , BUA B, (2) = zta (Zo 利用 反对 称 多 项 式 py (2), 与 对 称 形 
式 的 分 基 Levinson 算法 的 推导 完全 类 似 , 可 以 导出 算法 3.2.1 的 对 偶 形 式 一 一 肥 对称 形 
式 的 分 基 Levinson 算法 。 对 此 感 兴趣 的 读者 可 自行 推导 , 或 参考 文献 [120j。 
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3.2.3 ”分 基 Schur 算法 


观察 分 基 Levinson 算法 与 经 典 Levinson 算法 的 关系 式 (3.2.38), 不 难 想到 , 在 递 推 
顶 测 参数 ol 时 , 有 可 能 只 使 用 分 基 反 射 系 数 ak， 而 避免 使 用 分 基 横 向 预测 参数 p. 
这 是 因为 gf 与 a, 之 间 存在 关系 式 (3.2.19). SME Schur 算法 就 是 这 样 一 种 算法 ,其 关 
EIA S LIEWE”, ENA 


k 
EDDC (3.2.43) 
e 


注意 , 分 基 Levinson 递 推 式 (3.2.23) 可 以 用 紧 凌 的 形式 写作 


pP = pÀ + pE? ~ apli? (3.2.44) 


HR (3.2.44) 代入 到 广义 分 枯 协 方差 式 (3.2.43)， 即 得 到 广义 分 基 协 方差 的 递 推 公式 为 


TIP = of) + EP ~ gr? (3.2.45) 


容易 验证 , 分 基 反 射 系数 也 可 以 利用 广义 分 基 协 方差 表示 为 
(k) 
Tk 


op+1 = ky (38.2.46) 
Tho 


本 是 ， 即 得 到 下 面 的 算法 4, 
算法 3.2.2 (分 基 Schur 算法 ) 
输入 BOT RARE o0,c1,… ;cn 
步骤 1 初始 化 


Og = +G, Bal -e/o k=2 


TO = 20, P =a ten, i=01,. n+] 


FR 2 HER (3.2.45) 计算 rP, i =m- ko 
步骤 3 利用 式 (3.2.46) 计算 分 基 反 射 系数 ak+l。 


Ra 计算 
By = af = 1 ~ og 
PRS 恢复 预测 参数 
af =a y paf, 2 


PRG kok+l, 并 重复 步骤 2 ~ HRS, HE k=n 
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3.2.4 Hermitian Levinson 递 推 

现在 , 让 我 们 米 考虑 复数 情况 下 的 分 基 Levinson 递 推 。 ` 

令 工 是 一 个 (n+1)x (n+ 1) RIAA Toeplitz WB, KA Hermitian Toeplitz 
SERE, REIME T 的 第 1 列 元 素 为 g € C0,i = 0,1,… ,n。 HF T Æ Hermitian HFF, 所 
Weg =ef,i=0,1--- no F Tp RRM T A (k+1)x (十 1) FR, Ip, T, = Te 

k 

令 mk = ef, 2, ... PY? 为 一 复 列 向 量 ,， zj(z) = Sz KR e k MEL 

项 式 。 与 实数 情况 类 似 , 令 tl) 表示 ayo) HERLEI OD 


k 
Bglz) = PE AC = Sat) A 3.2.47 
k—i 
i=0 


AERO .和 向 量 符号 , 则 有 iy = Jake 
向 量 zx 称 为 Hermitian MH, 若 mx = Sz。 类 似 地 , 多 项 式 zk(z) 称 为 Hermitian 多 


BR, # 24 (2) = ple) 
向 量 zk WAR Hermitian 向 量 ， 若 mk = ~&,. Kh, LMR 2, (z) RAR 


Hermitian 多 项 式 , 47 zk(z) = 一 次 (2)。 

Hermitian Toeplitz 2% T 属于 一 个 矩阵 大 类 ,它们 统称 为 Hermitian- 中 心 Hermi- 
tian 矩阵 。 

Hermitian - 中 心 Hermitian 矩阵 工具 有 以 下 性 质 : 

(1) TH =T, MRIH (Hermitian 性 ) 。 

(2) JTI =T*, BP SIERR ERE (中 心 Hermitian 性 )!。 
这 就 是 为 什么 称 T 为 Hermitian - 中 心 Hermitian 矩阵 的 缘故 。 

类 似 地 , 一 个 实 对 称 Toeplitz 矩阵 T 属于 对 称 - 中 心 对 称 矩 阵 类 。 对 称 - 中 心 对 称 
MA ATER: 

(1) TT = 全， 即 对 称 性 。 

{2) ITI =T, 即 中 心 对 称 性 。 

对 于 Hermitian Toeplitz #18 T, $ D, ETHER T, 的 行列 式 。 根 据 前 面 的 分 
析 ，Levinson 多 项 式 满足 下面 的 “一 步 递 推 关 系 ”: 


Gg(2) = api) + 2Bpdya(z), k=1,2, e,n (3.2.48) 

中 k1 
By = —(Dr-1/ Dre-2) (= anal) (3.2.49) 

4=0 
(De/ Dy) = (Dr-1/ De_2)(1 — |Bel?) (3.2.50) 


1 GPA MER, JTI RMT PAT EA RHE T AATE, AAE ARE BT eR 
中 心 , 对 称 交换 T HARRER. 因此 , JTI 可 以 视 为 矩阵 T RES 
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H D_,=1,a,(z}=1. 

为 了 减少 Levinson 递 推 的 计算 其 ， 有 必要 利用 Hermitian Toeplitz 矩阵 T AANA 
WH. OP, 表示 z Nk <n 阶 复 多 项 式 空间 。 H Levinson 多 项 式 定义 Hermitian 多 项 式 
s,(z) € P, AIR Hermitian 多 项 式 §,(z) € Pao Hl 


sle) = Zll Häl (3.2.51) 


5,(2) = Float 2) ~ a4] (8.2.52) 
这 样 定义 的 多 项 式 s.(z) 和 4,(z) 分 别称 为 Hermitian Levinson 多 项 式 和 反 Hermitian 
Levinson 多 项 式 。 然 而 ,利用 式 (3.2.51) RER (3.2.52) 的 定义 , 并 不 能 够 使 sk(z) RE 
3, (z) 的 递 推 计算 简化 。 
Levinson 多 项 式 满足 线性 方程 组 


Trap = (PRADA 10 0, k=1,2,.,n (3.2.53) 

利用 式 (3.2.51) MX (3.2.53) 容易 验证 ,多项式 sple) 满足 
T8, = Op(Dp/Dp-1)[1, 0,0,17, k=1,2,. ,Nn (3.2.54) 

类 似 地 , 由 式 (3.2.52) 和 式 (3.2.53) 知 , 多项式 3,(7) 满足 
TB, = 04(Dy/Dg_r)1,0,--+,0,-1]", 天 一 症 2 sn (3.2.55) 
RP, 9g = [59917 PIT A By = 1807.8 S IT PAEDDR slz) AM (2) 


的 系数 向 量 。 
注意 , 式 (3.2.53)~ 式 (3.2.55) 的 右边 均 是 实 的 ， 并 且 式 (3.2.54) 右边 是 对 称 的 ， 式 


(3.2.55) 右边 是 反对 称 的 。 
现在 考虑 Hermitian Levinson 多 项 式 s,(z) 的 递 推 。 利用 ax _1(z) 表示 skf2) 的 最 党 


见 形式 , 即 


Sk(Z) = ZK-1QK-1(Z) + zz ið (2) (3.2.56) 


其 中 , zpi 十 一 个 复 标量 。 观察 知 ,sh(z) = iple) 因此 , 式 (3.2.56) 的 定义 满足 sple) Æ 
Hermitian Levinson 多 项 式 的 要 求 。 还 容易 验证 

sg(2) 一 akak(z) + atgak(z)， k=1,2,... (3.2.57) 
其 中 

o = (Ep1 ~ TEARC — kP) (3.2.58) 

这 一 表达 式 建立 了 相同 阶 次 的 多 项 式 sk(z) 与 a,(2) 之 间 的 联系 。 注 意 , 将 式 (3.2.56) 10 
入 也 sk， 并 使 用 式 (3.2.53}， 则 得 到 式 (3.2.54) 所 示 的 关系 。 因 此 , 式 (3.2.54) 的 定义 是 
合适 的 。 
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为 了 建立 ss(z) 的 递 推 公式 ， 将 式 (3.2.57) 向 后 夫 代 一 步 ， 并 联合 求解 该 式 与 式 
(3.2.56) 得 到 apalz) 和 &_1(z)。 将 这 些 值 连同 用 saple) 和 se(z) 表示 的 aple) 
BARAT (3.2.48), 便 得 到 

Sat — HESE (2) _ E = rd +h [e = ita] 


Ty — 25D, Py — PER PR Eki TRIP 
(3.2.59) 
中 
Pk=0k/Ak, Hk = Tk/Ok (3.2.60) 
选择 复 标量 zk = apk = 1,2,…， 则 式 (3.2.59) 简化 为 
8k41 一 28k(2) [sg(z) 一 zSk 1(z) Sk(2) 一 sk-1(2) 
| ea 
由 式 (3.2.58), 对 zi 的 上 述 选择 还 将 追 使 上 列 关 系 式 成 立 : 
E = (Pk — /A — laf) (3.2.62) 


ASK (3.2.61) 解 出 sy1(z)， 并 利用 式 (3.2.62) 进行 简化 , 便 得 到 skfz) 的 “二 步 递 扒 


Sk+1(2) = (Pr + PR2)sk(z) ~ %e 294-12) (3.2.63) 


式 中 
Pe = Tafe- = [rl tea” — IRI?) (8.2.64) 
st (3.2.63) 可 以 进一步 简化 , 方法 是 定义 一 个 新 的 多 项 式 3, (z), 即 sel2) = 1,3, (2), 
k=1,2 其中, Li 为 实 的 标量 。 这 样 一 米 , R (3.2.63) 就 变 成 


B+1(2) = (leflpr3) (pk + PR2)Bk(2) 一 (Let [ic 1)94 28-1 (2) (3.2.65) 
选择 Gal, 和 ga 使 得 式 (3.2.65) 中 5,_,(2) 的 实 系数 等 于 1, B 
lrt = (lki) = Igla (lr-1/2 PA- lal (3.2.66) 


将 式 (3.2.66) 代入 式 (3.2.65), WA 


Sea = Panes ae + py 2)5,(z) — 254_1(2) (3.2.67) 
定义 复 标量 7 满足 
Tes = [t4,0,--- ,0, TR]T (3.2.68) 


比较 式 (3.2.68) List (3.2.54) 知 Ty = @p(Dp/ Di1) 于 是 , 再 利用 式 (3.2.58)， 便 得 到 


元 一 axz(De/Dk 要 ) 
= (zpi — Th B)(De/ Daa) ~ ll) (3.2.69) 


3.2 Toeplitz 线性 方程 组 的 Levinson HRE 193 


将 式 (3.2.64) 和 式 (3.2.69) 代入 式 (3.2.67)， 即 求 得 5, (2) 的 递 推 公式 为 


Susie) = (F2 + a) s) =at (3.2.70) 
k k 
其 中 
Fy = Tafi (3.2.71) 

这 是 因为 sle) = 1,8,(2) 意味 着 Tp = pgo 

式 (3.2.70) 十 Hermitian Levinson 多 项 式 递 推 的 关键 公式 , 是 Krishan 与 Morgera 得 
到 的 9。 很 明显 , 式 (3.2.70) 与 分 基 (SE) Levinson 递 推 公式 (3.2.39) 形式 上 非常 相似 。 
Rick, R (3.2.70) 可 以 视 为 式 (3.2.39) 在 复数 情况 下 的 推广 与 修正 。 

在 利用 式 (3.2.70) 递 推出 束 (z) ZIG, 立即 可 得 到 原 多 项 式 s(x) =8,5.(2), 因为 
可 以 由 式 (3.2.66) 直接 计算 。 

为 了 由 sy(z) 恢复 a, (2) 考查 式 (3.2.57) 的 向 前 一 步 迁 代 。 将 此 结果 与 式 (3.2.56) 综 


合 起 来 , 则 有 
一 Seas (2) = zeel) (3.2.72) 
Ly — 224 “~ 


它 实质 上 就 是 式 (3.2.61) HAL. 预测 参数 多 项 式 a, (2) 的 焦 复 如 此 简单 ,主要 得 益 丁 在 
式 (3.2.53) 中 引入 了 复 标量 2,1» 并 作 了 一 个 非常 好 的 选择 zk = apk = 1,2,--- no W 
察 式 (3.2.72)， 可 以 得 到 一 个 非常 有 趣 的 结果 , 即 6.10) = (1), k = 0,1, ,n。 选 抒 
Ty = Qk 二 1,2,… n 带 来 的 另外 一 个 有 趣 的 关系 是 


Te = BEDE/ Dr-1) (3.2.73) 


ok) 


此 式 由 式 (3.2.61) 利 式 (3.2.69) 直接 可 得 。 
另外 ， 由 式 (3.2.69) 和 式 (3.2.71)， 又 可 得 到 恢复 反射 系数 B 的 公式 为 


了 E l 
By = == (-# +) 3.2.74) 
* Toy hot le - 


综合 以 上 结果 , 可 以 总 结 出 下 面 的 Hermitian Levinson 算法 9), 
算法 3.2.3 (Hermitian Levinson 算法 ) 
FR 初始 化 

so(z) = 1= F(z), 51(2) = 0.5(1 + 2) = 5,(z), 


fp =C0/2, to +05, Ip=l=1, k=1 
FR? 计算 系数 


k 
Tp = > Ci Ski 


=0 
Th = Thal Te 
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步骤 3 多 项 式 更 新 
Sepi (2) = (rk + ez) IR(Z) — 25,1 (2), TERE 1(z), 3, (2) 


FR 4 辅助 递 推 
ERES 


Eri Tia kaa 
Sk = (1 - lAa 
Er = (Eki — Te-1 FE) 
Baty = lange) = la (lagi / Tal) 
步骤 5 高 一 阶 递 推 
kOk+1L EMER 3， 并 重复 以 上 步骤 , 直至 大 一 me。 
步骤 6 Levinson 恢复 
ank2) = (1/2) ni 5n41(2) — zinak) — 2) 
与 Hermitian Levinson 算法 的 推导 相 类 似 , 可 以 导出 反 Hermitian Levinson 算法 . 在 
这 种 情况 下 , 有 


5, (2) = ZE-1GK-1(2] — 21g 1 (2) = Gkak(2) 一 ORG, (z) = —3,(z) (3.2.75) 


其 中 


Or = (ya + 2R_18D/ 01 |B) (3.2.76) 
对 反 Hermitian Levinson 算法 推导 有 兴趣 的 读者 可 进一步 参考 文献 [262]。 


3.2.5 ”多 信道 Toeplitz 线性 方程 组 的 Levinson 递 推 求解 


现在 讨论 多 信道 Toeplitz Ste PLA ARI 
考虑 一 维 AR (oy, pa) 实 值 随机 过 程 
Se alinsia)e(m, -inna — fa) = elm ma) (3.2.77) 


4,=01,=0 
SUP, aliia) 称 为 一 维 AR 参数 , 激励 信号 eln, na) 古 一 个 二 维 高 斯 白 噪 声 随 机 过 程 。 
定义 r 亿 站 一 Efzfnibnazjztn — lny — k)} 为 二 维 AR 过 程 ztn1,n2) MOTH 
数 。 对 于 二 维 AR 过 程 , 有 多 信道 Yule Walker 方程 (推导 及 其 涵义 详 见 文献 254j) 
[TA 4 一 [OO (3.2.78) 


AP, Ay: A, 为 参数 矩阵 , 工 (n+ 1)(K +1) x (n+ 1(K +1) HE Toeplitz- 块 

Toeplitz 矩阵 ， 即 
R(0) RO) + R(n) 

_ R(-1) RO) > Rin- 1) (3.2.79) 


R(n) REntl) -- R(0) 
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分 块 矩 阵 RU) = 0,1,.… ,n 为 Toeplitz 矩阵 ， 定 义 为 


r(i,0) r(i,—-1) tee rl, —K) 
RW) = ren rho) ee rook) (3.2.80) 
rLK) (K-11) = r0) 


元 素 rli,j) 为 :- 维 自 协 方差 函数 。 
多 信道 Yule-Walker 方程 企 多 维 信号 处 理 的 二 维 AR 模型 辨识 和 谱 估计 中 起 着 关键 
的 作用 。Kimura 与 Honoki [254 提出 了 求解 Toeplitz- 块 Toeplitz 矩阵 方程 (3.2.78) 的 多 


信道 Levinson 递 推算 法 。 
算法 3.2.4 (多 信道 Levinson 递 推 算法 ) 754) 
步骤 1 初始 化 
4g =R(0), AM = (3.2.81) 
R22 阶 数 更 新 
An = DAN Rin -i+1) (3.2.82) 
i=0 
ALIP = -Anp JAR I (3.2.83) 
APD = AP + ARDIA aT i LBM (8.2.84) 
Apt? =T (3.2.85) 


(n+l) AT 


Ang = 4a + Angi Sasi (3.2.86) 


KP, J 表示 互 换 和 矩阵 。 

SPEER At ee Ae AY. Kimura 与 Honoki 提出 了 一 个 猜测 ; 
对 于 某 些 情况 ,最终 的 谱 估计 会 与 最 大 彤 谱 估 计 一 致 。 虽 然 多 信道 Levinson 递 推 算法 求 
解 Toeplitz 线性 方程 组 是 有 效 的 ， 但 Zhang 和 Cuils%4 通过 性 能 分 析 证 明 ，Kimura 与 
Honoki 的 这 一 猜测 并 不 成 立 。 


3.3 ”求解 Toeplitz 线性 方程 组 的 快速 算法 


上 一 节 推 导 了 求解 Toeplitz 线性 方程 组 Tx = 5 GOH, T = [ps_y]?j-o) 的 儿 种 
Levinson 型 递 推 算法 。 虽 然 这 些 算法 是 递 扒 的， 但 它们 的 计算 复杂 度 为 On?) RT 
Levinson 递 推 外 ,也 可 以 利用 快速 Fourier 变换 (FFT) 求解 Toeplitz 线性 方程 组 ,而 县 
这 类 算法 只 需要 O(nlogzn) 的 计算 复杂 度 ， 比 Levinson 递 推 更 快速 。 鉴 于 此 ,多数 文 献 
称 这 种 求解 Toeplitz 线性 方程 组 的 快速 Fourier 变换 为 快速 算法 {如 文献 [263], [108] 等 )， 
个 别 文献 nel 称 这 类 算法 为 超 快速 算法 。 本 节 主 要 介绍 Kumar 的 快速 算法 99) 。 

Kumar 快速 算法 包括 下 面 的 三 步 运算 ; 


196 第 3 章 Toeplitz 矩阵 


— CL) 将 Toeplitz 矩阵 先 镶嵌 成 一 个 大 的 循环 矩阵 。 
(2) 对 循环 矩阵 部 分 求 逆 (由 本 循环 矩阵 的 逆 矩 阵 仍 大 循环 矩阵 ， 所 以 只 需要 求 
逆 和 矩阵 的 第 1 行 和 第 1 列 ), 然后 , 利 岂 循环 矩阵 北条 阵 的 第 1 行 和 第 1 列 再 对 
原 Toeplitz SEMIS RM, HILAR Toeplitz 矩阵 的 逆 矩 阵 的 第 1 行 和 第 1 列 。 
(3) 利用 Toeplitz 矩阵 的 道 答 阵 的 第 1 行 和 第 1 烈 , 求解 原 Toeplitz 线性 方程 组 。 
下 面 分 别 叙述 这 三 步 运算 。 
3.3.1 PIME 


令 Toeplitz JERE P = (uy Fjo 这 个 (nx 十 1 x (n+ 1) 和 矩阵 可 以 灸 脆 成 一 个 (2n 十 
1) x (n+ 1) HEER, BER Toeplitz HEME, MATE (CE) 矩阵 ， 即 有 


Bo Ba H-2 co H-n Mn Paa Baa O M 
mo lo Ba co Hony Bona Bn Hna UO Ha 

P= |ts H to U Benge Monty Hon Ha UO Ms (3.3.1) 
Moy H-2 Ha no nl Hno Hna ~ Ho, 


EAEE (cyclic embedding). H Pa) 表示 循环 矩阵 P 的 第 1 行 , 旭 
Bay = Wo pp Bons ns tne + Ha] 


类 似 地 , 用 pO 表示 户 的 第 1 列 。 假 定 循环 矩阵 已 RTR, WERE Q 也 
是 循环 矩阵 。 因 此 , BER Q 的 不 同 列 ( 行 ) 是 它 的 第 1 列 ( 行 ) 的 绢 环 移 位 。 有 意思 的 
是 , Q 的 第 1 行 aa 可 以 用 Nlog, N(N = 2n + 1) 次 运算 求 出 。 

乘积 矩阵 Z = PQ 的 第 1 行 zy) 的 第 ; 个 元 素 是 Do MARS Q 的 第 j 
列 5G) 的 元 素 的 乘积 , 但 由 于 gO 是 50) W k KATEA i 


N-1 
za) = D Palha k- j=0,1, N1 (3.3.2) 
k=0 


即 2.6) 是 Po 的 元 素 与 gO 的 元 素 的 循环 相关 。 在 上 述 表 达 式 中 , 不 同 阵列 (TRI) 
的 元 素 编号 为 0,1,.… ,NN 一 1, 以 便 与 FFT 的 符号 规定 一 致 , 而 且 GM (i) = 50)(N 一 让 。 
BIER @- 的 循环 移 位 性 质 , 其 第 1 TT a) 的 元 素 与 它 的 第 1 列 aO MARZIA 
以 卜 关 系 : 


AG) =N -用 j=0,1, NAT (3.3.3) 


利用 这 一 关系 , 式 (3.3.2) 又 可 以 写作 
N-1 
zmo) = DPR kh j=0,l Nl (8.3.4) 
k=0 


根据 定义 , Z= PQ 应 该 为 单位 矩阵 , 故 zo = [1,0,… 0]. H u Mle 分别 表示 Pay 和 
qa 的 离散 Fourier 变换 (DFT), 则 aq, Æ v 的 离散 Fourier 反 变 换 (IDFT). 对 式 (3.3.4) 
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进行 DFT, 可 得 向 量 v flu 的 元 素 之 问 的 关系 : 
u(k) = 1/u(k), &=0,1,---,N-1 


由 于 假定 了 PP ETHE, 所 以 ulk) 关 0, Yk， 好 所 有 元 素 v(k) 都 是 有 限 大 的 。 在 求 出 
v(k) 后 , ĝa) 便 可 以 通过 wv 的 IDET 得 到 。 

第 一 步 的 计算 可 以 归纳 如 下 。 

算法 3.3.1 (HERRE) 

BRL 计算 镶嵌 序列 [Ho Ho sons Hna Ha] RI (2041) AR FFT, 495) u(k), k = 
0,1 ,2m。 

步骤 2 WH vlk) =1/ulk), k= 0,1… ,2n 

FRI K olk) 的 IDFT, MGA MME P HERE Q 的 第 1 行 。 

PRA 利用 式 (3.3.3) 对 他 的 第 1 行进 行 移 位 , 直接 得 到 Q 的 第 1 列 g. 


3.3.2 Toeplitz 矩阵 的 部 分 求 逆 


利用 上 述 算法 求 出 循环 扯 阵 的 逆 逢 降 Q 后 ， 下 一 步 是 求 原 Toepiitz SBE P ME 
阵 @。 这 一 步 又 由 以 下 两 个 算法 组 成。 

算法 3.3.2 ( 半 除 算法 ) P99 

EE oole) 和 a (2) 是 最 高 为 ， 次 的 多 项 式 ， 它 们 每 一 个 都 有 n 十 1 个 项 ( 除 党 
项 以 外 的 所 有 项 可 以 等 于 零 ) 下面 的 算法 用 递 推 的 方法 给 出 算 子 各， 其 中 ，| SEE iP 
VEL <n (符号 lz] 表示 取 不 小 于 = 的 最 小 整数 )。 


ifn = 1; ao(z) = 0,12+ 00,0; 01(2) = 41,12 + 21,0 then 


1 —a0,1/41,0 
1 


, return ob 
= 411/299 


$ — HDla, an v) = | 


else 

begin 
ao = bg2z?—™) + cor™ + do 
ay =b" + ez™ + dy 
m= min {|| ,(n—»)} 
ep = boz™ + do 
e; =bz™ +d, 
 — HD(e9,e;,2m —1,m—1) 
if m = (n — v) then return } 
else 

begin 


网 -ssm 辐 
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m=(n+1-~-m)}-(v+1) 
o = goz” PH 4 ro 45, Ron mM 

J= gz Pt + rz 4 3, 

Go = goz + so 

=H +s, 

Ê = HD(go0,91,2m — 1,m—1) 

=o} 

return È 

end 
end 
上 述 算法 中 , POT, 表示 在 $ 的 交叉 对 角 线 元 素 插入 反 转 算 子 Tas B 

了 1 T, 
vem, = lar, i “| 


TSO) 等 价 为 在 矩阵 5 的 交叉 对 角 线 元 素 插入 移 位 算 子 S 后 与 矩阵 h 相 乘 ， 即 
anp f1 Sfi y 
sob=[25 [| 
算法 3.3.3 (Toeplitz 矩阵 部 分 求 道 算法 ) (263) 
FRI MAE 331R Â RE 14T [fao fan Saal WE 17 [gao 9a, Inal 


BRI 利用 算法 3.3.2 计算 Žan = HDC falz),9n(2}, A, n)e 
FRI WH Q= Po HAT Jae) ME 13 gal): 


区 = (Gin O Th) [Ee] 


3.3.3 Toeplitz 线性 方程 组 求解 
Toeplitz 线性 方程 组 Px = b 的 解 由 zx = Pb = Qb 给 出 , 其 中 ,b= [bobi ,bn]T 
为 已 知 。 构 造 道 矩阵 Qn (或 Qn) 的 自重 生 (self regenerative) 算法 为 4 
(Qi = (Qari): + (QH QQ12 — QO nas Sis en (3.3.5) 


然而 ,下 面 将 看 到 , 只 用 Q 的 第 1 行 和 第 1 列 就 可 以 获得 解 2, 而 无 需 利用 式 (3.3.5) R 


出 整个 和 矩阵 Q. 
令 F = Uo fi Fa) 和 g7 = [Words gn] PARERE Qopa 的 第 1 行 和 第 1 


列 (为 了 简便 , BA = aa BG = Ina) 于 是 , 有 


F =ou g= loa] fo = 9 
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定义 (2n + 1) 维 向 量 


RT =o 9 fosfo fal (3.3.6) 
FT = [0 Off Al, F=f/fo, 1<i<n (3.3.7) 
ET =[0 ,0 BG Gul, = 9/9, 1<icn (3.3.8) 
BT = (3.3.9) 


用 S, 表示 右 循 环 移 位 算 子 。 于 是 ,和 矩阵 @ BFA (n+ 1) x (2n +1) SESE O 的 最 右边 
(n+ 1) 列 组 成 , 即 
ht 
SRT + FT -hd 
Qa | SA + GS. + HIF? = aSo + hg (3.3.10) 
SEhT + (G52 +98, +95)F — Fr S2 + ise + Fra)” 


Ha =beh,o = b+ Ff Hw = bag 分 别 表示 5 i hF g 的 循环 相关 。 ER, b 与 
hh 之 间 的 循环 相关 对 应 于 5 与 A 之 间 的 循环 卷 积 ， 其 中 , h 是 h 元 素 的 反 转 形式 ， 即 
RO) = A(0), AG) = h(n - i) i= 1,2, n — 1. H u BH a MA nti DEE, v Aw 
分 别 表 示 d Al w 的 前 n 个 元 素 , 则 解 = 由 x = Qb= Qb 给 出 , 即 有 
人 十 guo — fnWo 


uz + He, + gava — Fat + fn-10) 3311 
TE | tts + QU + Gar + Ga — (nW + fait + fn-2wo (3.11) 


EM ON & EAR v 和 w 经 过 补 零 的 (2n + 1) 维 增 广 向 量 , SA 


BTS [O 0, 00t amal = 0, 40,0 Wama] 


并 用 EA g RAB E= 00 M A= fw, 即 Ey OR g 个 元 素 ED), A) 分 别 为 


nol 


E00) = at-a), HG) = am- j=0,b ,nl (3.3.12) 
i=0 
nol 
AG) = i@aG-7), G= Dn F=O1---,2-1 (3.3.13) 
扣 
直接 计算 相关 项 得 


Eln) =0, Ei) = (和 -ao 二 加 -it 十 二， OS F< n—-1 (33.14) 
A(n)=0, 90)= Gato thin t e wn ja) OSF<n-1 (8.8.18) 
容易 验证 ，Pz =b 的 解 直 接 由 


s=u+(f -h 
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给 出 , 其 中 , êA A paleo EM a AN (n +1) 个 元 素 , FRR E A a 相反 的 顺序 
进行 排列 的 向 量 , OW 2 = En Eai inol 和 分 二 [ana + ole 

下 面 赴 第 二 步 (Toeplitz 线性 方程 组 Pz =b) 的 求解 算法 。 

算法 3.3.4 (Toeplitz 线性 方程 组 求解 算法 ) 

PR 用 算法 3.3.1~3.3.3 计 算出 逆 秆 阵 Q = Po RS 1 AT F(z) AUB 1g, (2) 

步骤 2 利用 F(z) M gal) 的 系数 和 式 (3.3.9) 定义 (Qn +1) 维 向 量 h, 了 ,5。 

HFRS 计算 循环 相关 a= brh =b« f M Dbe 

FRA Su RNa Hii nt 个 元 素 组 成 的 向 基 , v Aw DH oA w 的 前 
n 个 元 素 组 成 的 向 量 ; 定义 


BT = [0,0 ,0, vo Vna] (3.3.16) 
HT = [0,--+ 0, w0 y Una] (3.3.17) 

PRS WAMMHK €=940,n7= fem, HEX 
二 = Erba El (3.3.18) 


9 = [ffs Anas ,向 ] (3.3.19) 


SRO 计算 Pz =b Hac = ut E- ihe 

RTRT ASh Ea AAA Schur 算法 求解 Toeplitz 线性 方程 组 ,这 种 算法 
的 计算 复杂 度 与 Kumar 算法 一 样 , 也 是 O(n log2n)。 具体 算法 可 参考 文献 [16] 。 

Kumar 算法 已 被 推广 用 于 Toeplitz - 块 Toeplitz 线性 方程 组 的 快速 求解 noal 。 


3.4 Toeplitz 和 矩阵 的 快速 余弦 变换 


N 阶 离散 余弦 变 澳 可 以 用 一 个 入 x N ER T 表示 , 其 中 ,也 一 lin IM ity MARE 

RA 
ima = Tacos [serm(A+1)], mi=0D Nl (8.4.1) 
” V1 
1/N, m=0 

a= V m=1,2,-,N -1 (3.4.2) 
根据 上 述 定义 , BRT = TT, 即 T RIESE. Rik, 对 于 任意 矩阵 A, 矩阵 At 
TAT’ 具有 相同 的 特征 值 。 

考查 一 Nx N 实 Toeplitz ER 


a ay tt ANa 
ay ao U ANa 


A= = [arn] ia = [oxo (3.4.3) 


G Ny CQ-N+2 *"' ag 
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SHB RABE A = TATT. SÀ = [ânn] Emn = cos [apn + 3] ,立即 有 


N-1 N-1 
bmn = Tm (= > a) Ta (3.4.4) 


k=0 i=0 
建立 离散 余 咏 变换 快速 算法 的 关键 是 利 州 离散 Fourier 变换 表示 离散 余弦 变换 。 为 
此 , 引入 中 间 变 量 


N-1 
Emp = >) wre Ya, y (3.4.5) 
i=0 


利用 w = exp (i gy) 并 注意 到 4 EKER, 则 有 


N-1 
Ânn = Tm Pn (= Renal] (3.4.6) 


k=0 


其 中 , Re [] 表示 取 复 数 的 实 部 。 再 引入 变 址 


Noi 
Yn = >. Em ptt (3.4.7) 
k=0 
由 于 
YY 一 1 N-i 
Onn = TmTa ( 2 a = TT Re |u” > Relea] 
k=0 per 
N-1 N-1 
Ymm + Uan = to ae + (wh, a) = SO we + Oe) 
k=0 k=0 
N-1 
= 2° Relx,, rl 
k=0 
故 有 - 
mn = TmTmRe fer Bantia n re >] (3.4.8) 


式 (3.4.7) 和 式 (3.4.8) ZH, Toeplitz 矩阵 的 离散 余弦 变换 的 计算 取决 于 =mn 种 Yin 的 
计算 。 考虑 
we bw lags 一 (一 Do nt] 


N-1 
= Ww? 》 we, i + wang — (1) ewe 


I=0 


N 
= Ww” > wr Vay ip +W” lagy — (1) anal 
t=1 


= wa i + wlan — (-1)"ar Nt 


= wa a HUPONA, yy — wD ay vik (3.4.9) 
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利用 


N-1 
一 m(2t4+1) 
Im koi = > w akpli 


i=0 


Al wN = 一 1， 则 得 


Lin kp WM Em Hwag — (—1) Ta wt] 


k=0,1,---,N-2,m=0,1,.,N-1 (3.4.10) 
定义 
N-1 
Xale) = J tmk", Yon = Xml”) (3.4.11) 
k=0 
于 是 , R (3.4.10) 左边 的 有 限 长 度 z 变换 为 
N-1 N-2 
> Em kt?" = > CE — Em 02! 十 ZemN2N 
k=0 k=-1 
N-1 
= > Lappe) = Em, 02 + Em wet 
k=0 
= 2X ml) — Em 027 + Em yz (3.4.12) 
右边 的 z 变换 为 
N-i N-i 
(和 全 + 》 zar w1)" D zta na 
k=0 k= 
故 得 
Xm (z)(2-* — we") 
N-1 N-1L 
= Em0?" — Em ya + w™ 》 kag, —w™(—1)™ SO tanar (8.4.13) 
k=0 k=0 


需要 指出 的 是 ,zw 由 式 (34.10) Æ k =N 一 1 时 的 递 推 关系 定义 。 为 此 ， 需要 计算 
k=N 时 的 ax 值 , 但 它 未 包含 在 原来 的 矩阵 A 内 。 任何 一 个 值 都 可 用 作 axw， 因 为 它 对 
Yn 值 不 会 有 任何 影响 。 从 数值 角度 看 , Ray = 0 更 好 一 些 。 

另外 一 方面 , 车 引入 


Not N-1 
v(m) = > wany oln) = > wta, ik (3.4.14) 
=0 k=0 


则 有 


Ym p(T? — w) = pq WT? — Em, yw? NN) + w/v, (n) ~(-1)"v9(n)] (3.4.15) 
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式 (3.4.15) 是 构造 快速 离散 余弦 变换 的 关键 结果 . 首先 对 n= 一 m;m =0,1,…, 入 一 1 计 
算式 (3.4.15), 得 到 
Fan = WND {pm gw?” + wy, (n) — (-1)"vy(n)]} 


= wN- ia, gw” + w™ {oy (n) — (—1)™2(n)]} (3.4.16) 

利用 wN = -1, 则 上 式 变 作 
Emy = (1)? Tm, 0 tw ™((—1)"v, (n) — vla) (3.4.17) 
此 式 提供 了 计算 zw wm 一 41……, 六 一 1 的 公式 ,这些 计 算出 来 的 值 连同 式 (3.4.14) 一 


起 用 于 计算 m-n 的 ymn 值 , 得 到 


oo 二 Do 


(3.4.18) 


这 一 结果 使 得 我 们 可 以 计算 出 A ALTE. 4 m = -n 时 , 我 们 得 到 不 定式 
0/0. 为 了 计算 Ym -m> 展开 式 (3.4.13) 得 到 


Kml) 
N- N-1 
= {mae -Em NNT + w™ [= zapp — (-1)™ Z zarna] } (27) — ww?) 
k=0 k=0 
上 式 的 分 子 和 分 母 分 别 对 z 求 导 , 并 计算 在 zy = w” = w-2m 的 值 , 得 到 
Xmt20) 
Nl N-1 
=z fenos? t+ (N= Dtm nz - wi” [= kð an = (-1)" > kab orn 
= = (3.4.19) 
即 


AN-1 N-1 
Xml20) = mo + (N ~ 1)em wad — WZ [= keegan, — (-1)” > shoal 
£0 = 


代入 ag = ap2n = ur-2m， 即 给 出 计算 ym 的 公式 ; 


Ym -m = Emo + (N — DOH Em, y w "um) — (1) (~m)] (3.4.20) 
其 中 
N-1 N-11 
u(n) = $ kwasy u(n) = DO kway Nye (3.4.21) 
k=0 k=0 


R (3.4.20) 使 得 我 们 可 以 计算 4 的 对 角 线 元 素 。 综 上 , 计算 4 的 完整 算法 如 下 B49。 
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算法 3.4.1 (Toeplitz 矩阵 的 快速 离散 余弦 变换 ) 

步骤 本 ER (3.4.5) PE k= 0 并 计算 zmomm = 0,1,… ,NN 一 1。 (计算 复杂 度 : 一 
ÙK 2N 点 DFT) 

步骤 2 PHR (3.4.14) WH vinh olan = -N -1) ,(N 一 1)。 (计算 复 杂 度 : 
两 次 2N 点 DFT) 

PRI AHS (3.4.17) 计算 zy,m 二 0,1,.… ,NN -1 (计算 复杂 度 : N 次 乘法 ) 

步骤 4 利用 式 (3.4.21) HH ulh unha = -N 一 ]),… ,(N 一 1)。( 计 算 复 从 度 : 
两 次 2N 点 DFT) 

步骤 5 由 式 (3.4.18) AIR (3.4.20) 计算 ymn LAE: 对 每 个 值 上 只 有 着 十 次 
HE) 

PRG 利用 式 (3.4.8) 计算 ann。( 计 算 复 杂 度 : 对 每 个 值 为 若干 次 乘法 ) 

计算 Toeplitz 和 矩阵 A 的 特征 值 的 通常 做 法 是 : 利用 变换 方法 (如 Givens 旋转 等 ) 
将 A 的 非 对 角 线 元 素 转换 成 零 ， 即 对 A 进行 对 角 化 。 如 前 所 述 ， 由 于 也 Wee 
BF, À = TATT 与 A 具有 相同 的 特征 值 , 所 以 在 求 4 的 特征 值 时 可 以 对 4 的 离散 余弦 
FRA 实施 对 角 化 , 而 且 这 上 比 直 接 对 角 化 4 更 好 ,因为 大 多 数 的 化 简 汪 作 已 经 用 离散 余 
弦 变 换 做 过 了 。 因 此, BARRER AHM -快速 特征 值 预 痪 条 件 器 。 况且 , 在 某 些 情 
SP, BHO A 已 是 A 的 足够 精确 的 特征 值 估 计 nsal 。 

一 些 例子 表明 F401, Toeplitz MIRE A HOT RR A 还 可 用 作 A RDE, AN 
À 的 主要 分 量 集中 在 -个 小 得 多 的 矩阵 分 块 里, CAAT A 的 稳定 部 分 。 从 秩 的 判断 出 
发 , A 的 秩 可 明显 看 出 , 而 4 的 秩 则 不 穿 易 看 出 。 注 意 , 由 于 4 和 4 其 有 相同 的 特征 
值 ， 所 以 二 者 的 秩 相同 。 应 当 指 出 , 求解 Toeplitz MARAE RAE, 对 此 
类 算法 有 兴趣 的 读者 可 参考 综述 [77]。 另 外 , AX Toeplitz 矩阵 的 特征 值 分 解 , 将 留待 在 
第 8 章 (特征 分 析 ) 中 讨论 。 


本 章 小 结 


ARES Toeplitz 矩阵 ， 先 讨论 了 它 的 重要 性 质 ( 亡 其 是 半 正 定性 )， 然 后 集中 介绍 
了 求解 Toeplitz 矩阵 方程 组 的 几 种 方法 : 

(1) Levinson 递 推算 法 ; 

(2) Hermitian Levinson 2848 +; 

(3) 多 信道 Levinson #48 HE: 

(4) Kumar 快速 算法 。 

最 后 ,本 章 还 介绍 了 Toeplitz 矩阵 的 快速 余弦 变换 。 


第 4 章 ”和 矩阵 的 变换 与 分 解 


在 求解 线性 代数 方程、 进行 模型 参数 估计 等 许多 典型 的 问题 中 ,常常 需要 将 矩阵 分 
解 为 二 个 或 三 个 特殊 算 阵 的 乘积 或 和 。 

企 有 关 线 性 代数 或 矩阵 理论 与 计算 的 现 有 专著 中 , 矩阵 的 各 种 分 解 是 分 开 论述 的 , 有 
时 难免 给 人 以 算 阵 分 解 似乎 零乱 、 很 难 蚊 类 的 感觉 。 本章 将 尝试 对 矩阵 的 分 解 进行 分 类 ， 
并 按 类 介绍 各 种 矩阵 分 解 。 

甜 阵 分 解 的 日 的 是 道 过 矩阵 的 线性 变换 来 实现 的 , 这 种 变换 能 够 将 原 矩 阵 某 些 特 定 
位 置 上 的 元 素 变 换 为 零 。 由 于 反射 与 旋转 是 实现 线性 变换 的 两 种 基本 手段 ， 所 以 本 章 先 
从 反射 与 旋转 入 手 , 然后 再 展开 对 和 矩 阵 分 解 的 集中 讨论 。 


4.1 Householder 变换 


在 很 多 工程 应 用 中 ,希望 对 某 个 矩阵 进行 变换 ， 使 之 成 为 某 种 特殊 形式 的 矩阵 。 例 
如 , 使 之 变 成 上 三 角 和 矩阵 或 者 下 三 角 狐 阵 。 以 4 x 4 矩阵 为 例 , 希望 变换 结果 为 


| 
| 


PJP” aS (4.1.1) 


xx xx 


ooxx 
Ox x x 


x X X X 


xx xX x 


或 者 


xx xo 
xxoo 
xooo 


x 
x 
x 
x 


KX XX 
x X X X 


JERE P 称 为 旋转 变换 矩阵 ， 简 称 旋转 矩阵。 
一 般 情 况 下 ,要 求 旋转 矩阵 满足 条 件 


其 中 


moco 
uo 
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或 者 
0 00-1 
0 01 0 
7=|o 10 0 
1 00 0 


为 符号 矩阵 。 

满足 式 (4.1.1) ARIE PIA J AJER fo Ei J 正 交 算 阵 在 复 矩 阵 情况 目的 
推 | TA EJ =I, 则 J 再 矩阵 退化 为 西 矩 阵 PPE =I, 亦 邮 西 矩阵 是 J 了 两 矩阵 的 
特例 。 

完成 非 零 和 矩阵 的 上 述 特殊 变换 ， 涉 及 到 将 该 矩阵 的 烈 向 量 或 者 行 向 量 进 行 变换 ,使 
该 向 量 的 某 些 元 素 变 成 零 。 通 常 ， 还 希望 变换 后 的 向 量 与 原 向 量具 有 相同 的 范 数 或 长 
度 。 Householder 变换 和 Givens 旋转 十 实现 这 种 矩阵 旋转 变换 的 典型 方法 。 


4.1.1 Householder 变换 与 Householder 矩阵 


考虑 将 一 向 量 z 分 解 为 两 个 正 交 的 分 向 量 。 如 图 4.1.1 所 示 , 假定 除了 向 其 w 外 , 还 
有 另 一 已 知 向 量 v。 现 在,， 先 将 zx 投影 到 v, PEBE Pow。 然 后 将 x 投影 到 与 w E 
直 的 超 平面 ov+ 上 , 产生 另外 一 个 投影 Poe. 投影 Pye 称 为 向 量 2 到 向 量 ”的 正 交 投 
影 。 于 是 , 这 两 个 投影 就 构成 了 以 为 对 角 线 的 矩形 的 两 个 边 。 


4.1.1 向量 的 正 交 分 解 


根据 向 量 加 法 的 规则 , zw 可 以 表示 为 这 两 个 投影 的 向 量 之 和 (合成 向 量 ), 即 


a= P,o+ Pte (4.1.2) 


向 量 s 的 这 一 分 解 形式 称 为 正 交 分 解 。 
在 上 述 二 维 的 例子 中 , vt 是 一 直线 , 而 Poe 为 一 向 量 。 在 更 高 维 的 情况 下 , v+ 变 


成 一 多 维 目标 ( 超 平面 ), 而 Pir 仍然 为 包含 在 ot 内 部 的 一 向 量 。 
正 交 分 解 式 (4.1.2) PRIER 


Py = v{v, v) vt (4.1.3) 


和 
PL =I- P, =I- vlv, v) w" (4.1.4) 


分 别称 为 向 量 o 的 投影 矩阵 和 正 交 投 影 矩 阵 。 
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如 果 我 们 不 是 像 图 411 那样 构造 两 个 投影 Pyr 与 Pye 之 和 ， 而 是 构造 一 者 之 
差 ， 就 会 得 到 一 个 新 向 量 Hyr, WE 4.1.2 MR HP, e = [2,4,v = [2,1], 
-Poz = |-18,-8], Pie =[-8, 2), Fi, Hye = Pie- Pye = [-2, 4]. 


图 4.1.2 向量 的 Householder 变换 


矩阵 
H,=Pi-P, (4.1.5) 


称 为 向 量 v 的 Householder (变换 ) HERE, 而 向 量 
Hya=(P) Po) Pte Pye (4.18) 


叫做 向 量 a 相对 于 向 量 v 的 Householder 变换。 

Householder 变换 也 称 初等 反射 (elementary reflection), 是 Turnbull 与 Aitken [454] P 
1932 年 作为 一 种 规范 扼 阵 提出 来 的 。 这 种 变换 成 为 数值 线性 代数 的 一 种 标准 工具 归功 于 
Householder F 1958 年 发 表 的 一 篇 关于 非 对 称 和 矩阵 的 对 角 化 论文 Pr, 

将 投影 矩阵 的 定义 式 (4.1.3) 和 正 交 投影 矩阵 的 定义 式 (4.1.4) 代入 式 (4.1.5) BRET 
得 到 Householder 矩阵 和 Householder 变换 的 具体 表达 式 分 别 为 


Hy, =1-2P, = I- 2ou8/(uEu) (4.1.7) 


Hye = 2 - 2v(v,2/(v%v) (4.1.8) 
由 于 Householder 矩阵 H, 是 由 向 量 v 生成 的 , 所 以 向 量 v 习惯 称 为 Householder 
向 量 。 容易 验证 : 
=(Py- P)! = Py - P, = H 


并 且 
HG Hy = (Py — Py (Pa ~ Py) = Pat Py at 


和 H,HE = 1. 就 是 说 , Householder 矩阵 具有 以 下 重要 性 质 ， 
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(1) Householder ERF Æ MIURA Hermitian ERE. 

(2) Householder 矩阵 为 酉 矩阵 。 

Householder 变换 的 几何 意义 如 下 。 如 图 4.1.2 所 示 , Hye 与 2 ARRAS 
们 在 向 量 w 上 的 投影 的 方向 不 同 而 已 。 我 们 还 可 看 和 到, Hye 是 向 量 x 关于 与 v RE 
超 平面 vt 的 一 个 反射 (镜像 )。 因此 ，Householder 变换 又 叫 镜像 安 换 。 


4.1.2 Householder 变换 的 保 范 性 


值得 强调 的 是 ，Householder 变换 是 对 某 个 向 量 进行 反射 的 保 范 数 算 子 或 保 长 度 算 
子 。 为 了 从 儿 何 角度 看 出 这 一 点 , 不 妨 把 图 4.1.2 中 的 向 量 x 想像 成 从 原点 指向 到 标 有 
“F ”点 的 一 有 向 线段 。 如 果 将 此 向 量 相对 于 超 平面 w+ 作 反 射 , 那么 日 标 “F” 就 有 一 个 
镜像 , 即 反 “F”。 

ENDAR > 和 y 经 过 同一 线性 变换 工 后 ,它们 的 线性 变换 向 其 Tx, Ty 的 内 积 
(Te, Tu) 与 原来 两 个 向 量 的 内 积 (z,9) 相等 ， 则 称 线性 变换 T 具有 保 范 (B f w 
格 地 ，Householder 变换 的 保 范 性 可 用 数学 话 衣 表述 如 下 。 

定理 4.1.1 (Householder 变换 的 保 范 性 ) 给 定 任意 三 个 向 量 æ, y Mo, 则 关系 式 


{Hyx, Hoy) = (Œ, y) (4.1.9) 
总 是 成 立 。 
证 明 由 式 (4.1.6) 易 知 


(Hy, Hoy) = (Pye ~ Pyx, Pay — Pyy) 
= (Pye — Pye)" (Pyy — Poy) 


ALFA APE AL CREE EE, SRE EAE EE, 上 式 可 简化 为 
(ya, Hyy) = wi Poy + oP yy = 24 (I — Py)y +e Poy = (2,9) 


这 即 是 式 (4.1.9)。 
考查 随机 向 量 eE) M yll) 令 它 们 都 具有 和 零 均值 向 量 。 FE, 这 两 个 随机 向 量 的 互 


胁 方 差 函数 和 互相 关 卫 数 相等 , 即 


Coy(7) = EA" (EYE — 7)} = (2€), w(E —7)) 
现在 ， 利 用 Householder 变换 ,将 随机 向 量 a(€) Hi yE) 分 别 变 成 新 随机 向 量 2E) = 
Howl) 和 JO = Ayu. HER 41.1 知 
Ray(7) = E{2 (OIE — 7)} = (Hur(é), Houl -7)) 
= (a(€) ul — 7) = Efe" — 7} 
= Regl") 
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HY RASS NMBA ee, ARRAS, 所 以 上 式 意味 
着 Cal) = Csy(7)， 即 经 过 Householder 变换 得 到 的 新 随机 向 量 BE) = Helg) 和 
WO = Heyl) 的 协 方 养 隐 数 与 原 随 机 向 量 2(&) R y(&) 之 间 的 协 方差 相等 。 

综 上 所 述 ，Householder 变换 不 仅 天 用 HRA, 而 共 也 适用 于 随机 向 量 , 因为 它 
能 够 保持 随机 向 基 的 协 方 共 ( 即 一 阶 统计 基 ) 不 变 。 

Householder 变换 的 范 数 (或 者 协 方差 ) 不 变性 是 几乎 所 有 Householder 变换 应 用 的 
关键 。 

令 @ = diag(91;8Bz… On) WIRE BAR ( 范 数 ) 为 

@ yg =2" By =>" tip (4.1.10) 


i=l 


Ri BHM AAR, BIRRERIE 9; = 1。 在 信号 处 理 和 模式 识别 中 , 更 多 地 
采用 以 下 的 非 均 匀 加 权 。 
1. 逐 点 指数 加 权 


ARIAL oh BAR 
gi =A (4.1.11) 
其 中 , 0 < <1。 BZ, 在 现时 刻 n, N° = 1, 即 现时 刻 的 数据 *。 以 权 系 数 1 起 作用 , 而 
最 早 的 数据 z; 则 被 一 个 最 小 的 数 X"-: 加 权 。 因 此 ,和 常 被 称 为 遗忘 因子 。 
2. 分 块 指数 加 权 
此 时 ， 加 权 系 数 取 


A, ism 
= 4.1.12) 
9 f i > ny ( ) 


就 是 说 , SER R” NEE. 而 不 是 逐 点 被 遗忘 的 。 当 要 求 针对 儿 个 数据 
而 不 是 单个 数据 进行 更 新 时 , 常 采用 这 种 加 权 形 式 。 
3. 双 曲 线 加 权 
假定 需要 从 协 方差 矩 阵 中 精确 地 删 去 提 的 数据 , 而 不 是 像 式 (4.4.11) 和 式 (4.1.12) 那 
样 只 是 衰减 旧 数 据 。 此 时 ,如果 采用 加 权 系 数 
= 人 iS m (4.1.13) 


1, i> no 


我 们 就 把 数据 块 npo Enpa tn 拷贝 到 了 向 量 z 的 最 后 n no 个 元 素 中 ， 并 从 协 
方差 矩阵 中 删 二 了 ziyzo,…- ,zno。。 针 对 所 有 的 了 有， 可 以 只 扔 卸 那 些 不 想 要 的 数据 。 当 
Bastos am 从 被 它们 的 稀疏 对 应 部 分 取代 时 , 式 (4.1.13) 的 权 系 数 形式 是 有 用 的 。 

有 必要 指出 , 在 现代 数学 物理 的 相对 论 中 , 就 用 到 四 维 空间 的 Householder 变换 的 双 
曲线 形式 ， 此 时 no = n 一 1。 不过, 这 一 变换 被 物理 学 家 称 为 Lorentz 变换 (357) , 
4.1.3 画 出 了 使 用 不 同 加 权 系 数 的 Householder RAH. WRR, 对 于 沟 勾 加 
权 ，Householder 反射 轨迹 为 圆 ; 对 于 指数 加 权 , 反射 轨迹 为 椭圆; 而 双 上 曲线 加 权 的 反射 


轨迹 为 双 曲 线 。 
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图 4.1.3 ”使 用 不 同 加 权 系数 时 向 层 = 的 Householder 反射 轨迹 


4.1.3 Householder 变换 算法 


Householder 变换 最 典型 的 应 用 起 在 数值 算法 中 构造 开交 基 , 使 得 数值 问题 变 成 一 种 
容易 求解 的 形式 。 从 计算 观点 看 ， 这 类 变换 的 作用 是 使 向 量 或 者 矩阵 中 被 选择 出 来 的 一 
些 元 素 变 成 零 。 

Householder 和 矩阵 既 能 使 一 向 量 的 某 些 元 素 变 为 零 , 又 能 保持 该 向 量 的 长 度 或 范 数 不 
变 。 作为 一 个 典型 的 例子 , 考虑 利用 Householder 变换 将 一 非 零 向 量 z = [zl za，… Ep] 
变 成 基本 向 量 (也 称 标准 向 量 ) e, = [1,0,… ,0]T 的 某 个 常数 倍 。 为 此 , 令 实 Householder 
矩阵 


H =I -2vv"/(v7v) (4.1.14) 


由 前 面 的 分 析 知 ，Householder 矩阵 H 是 对 称 的 和 正 交 的 。 
构造 Householder 向 量 


v=n+ae, (4.1.15) 
从 而 得 到 
ole = ale + at (4.1.16) 
和 
oly =vTv+ ar, +0? (4.1.17) 


RP, zi 是 向 量 > 的 第 1 个 元 素 。 
将 式 (4.1.16) 和 式 (4.1.17) 代入 式 (4.1.14), 则 有 


ZT + ar 
= [1-2———_———_,, — 2a. 
He ( ala + 2a, + =) Ooty 


WO Grete an re den 
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WT iË Householder 变换 结果 与 向 量 r 无关 , 令 


ale + QP 


一 一 一 -一 L =1 
ale +2ox, +a? 


解 之 , 得 a = lelo 其中, lla} = aT. 
将 a = |El IRAR (4.1.15), 得 Householder 向 量 


v= z+ lzle 
故 
Hz= ( 一 a2) æ = F|zllze; 
因此 , 为 了 使 非 零 向 重 > 变换 成 基本 向 量 e 的 某 倍数 ， 可 以 利用 


v = g + sgn(z,)|lallze, (4.1.18) 


计算 Householder 向 量 w。 式 中 , sgn(zl ) 为 变量 z, 的 符号 函数 。 
考虑 使 用 Householder 变换 将 2 = [3,4] 变换 为 稀疏 数据 的 向 量 lele, = —[5, 0]. 
此 时 , v= [8,4], Py z = [4,2], Pée =(-1,2], Hye = 一 [5, 人 0, 其 结果 如 图 4.1.4 所 示 。 


v= zT + Isle: 


—Pyt 


图 4.1.4 产生 稀疏 数据 的 Householder 变 换 
下 面 讨论 更 一 般 的 情况 : 希望 将 n x 1 向 量 > 变换 为 一 个 新 的 (稀疏 ) 向 量 leler 
EH, e, 仅 有 第 个 元 素 为 1, 而 其 他 元 素 皆 为 0。 令 实现 这 一 变换 的 Householder 矩阵 
A Hp WA 
H,2 = pen |8|= lel, æE c7 (4.1.19) 
SER KERER ARIE, 


H, = I- 3 -—~(z - berle — Bex)" (4.1.20) 


iG Th) 
式 中 , 8 是 一 个 中 间 变量 , 定义 为 


Bay, = +lzxllizll (4.1.21) 
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考虑 到 式 (4.1.20) 的 稳定 性 , 一 般 的 做 法 吓 企 上 式 中 取 负 号 。 虽 然 早 人 在 1971 年 , Parlettl354 
通过 分 析 就 曾经 指出 过 , 着 适当 使 内 (9 — 2,) 的 公式 , 则 其 他 的 选择 并 北 一 定 不 稳定 , 但 
大 由 于 缺乏 肌体 的 算法 ,这 一 工作 并 未 引起 人 们 的 重视 。 直 到 2000 E, Dubrullel37] 才 
提出 了 具体 的 实现 算法 。 下 面 介绍 Dubrulle 的 这 一 工作 。 
Householder 算 阵 取 
H,=1-uu®, u= ea Ben (4.1.22) 
B(B — x) 


RP, u 起 一 个 长 度 为 2 的 向 其, BY [feel] = V2, 并 有 


B= -izlel (4.1.23) 


由 式 (4.1.21) Al Bo, 必须 是 实数 ， 故 取 


B= + = ll = #0 (4.1.24) 


当 zi = OFT, HER 6 = fall. 由 上 式 引 出 了 两 种 类 型 的 Householder 变换 。 
1， 1%} Householder 变换 
H B= -gle 与 之 对 应 的 Householder 和 矩阵 为 
k 


Dgr 1 g _ gH 
Hi L- jeije eE T eA (41.25) 
这 是 通常 采用 的 一 种 类 型 。 Householder 向 量 u 直接 出 式 (4.1.22) 计算 , 或 者 通过 计算 其 
TRAS W 


o Tk le \? 

ud Ze fy 5 at 4.1.26) 

= B+) ( 

D gl “e 

uf 1+ Hel) , ith (4.1.27) 
-高 (+ 向 


2. 2 型 Householder 变换 


取 B8= pl Householder 矩阵 为 
k 
leal 
H® I- lel lo — Be, )w — Bes) (4.1.28) 


liz- 2ye, ||? 


JEM. Householder 向 量 u 由 式 (4.1.22) 计算 , 成 者 其 元 素 直 接 取 为 


u 2a le- resl ( q Eal ) (4.1.29) 
Te Tel 四 
E 1/2 
= ( +e) | afk (4.1.30) 
Te— zen] Tel 
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可 以 看 出 , 虽然 2 型 Householder 变换 需要 稍 多 的 算术 运算 , 但 在 比较 人 的 计算 中 ， 
这 -增加 的 运算 基 可 以 名 略 不 计 。 一 个 被 激励 的 向 量 on 经 过 Householder 变换 后 ， 变 成 
新 向 量 


y = Hye =2-(ulz)u (4.1.31) 
当然 希望 y RE SRA > 所 携带 的 信息 。 
v=a-+ |xlle, (4.1.32) 


BT SEB ER tH GEE AY Householder 变换 。 其 证 明 如 下 : 由 于 是 两 个 相同 长 度 的 
向 量 = 和 jele, 的 合成 向 基 , 因此 , 该 合成 向 量 丰 次 形 即 等 边 平 行 四 边 形 的 一 条 对 角 线 ， 
而 另 一 条 对 角 线 连接 = 的 端点 和 ele, 的 端点 。 由 于 芳 形 的 对 角 线 总 是 相互 簿 直 的 , 故 
它们 在 中 点 相交 , BMH 


Pz=v/2 > Pyz=2-v/2 + Hor= -Ilalle, 


这 就 证 明了 : Ae 关于 向 量 w = e+llzjiek ( 苍 形 对 角 线 ) 的 反射 lele, Mit r KF v 
的 Householder 变换 Hyto 

Householder 变换 对 于 形成 协 方差 不 变 的 稀疏 数据 是 非常 有 上 用 的 。 

总 结 以 上 讨论 ， 若 选择 


DEVE 
=I- 4.1. 
Hy = 1-2 (4.1.33) 


sth, Householder 变换 向 量 v 具有 形式 


Bg = [0,--- 0,1, a,(K+1),--- 0g(n)]7 (4.1.34) 


W Ha = lele- 
WERNHER A = [aaz ,an] Mi r(< n) 个 列 向 量 分 别 使 用 Householder 变换 , 得 
到 变换 结果 Ha, = Jarler 则 最 后 的 变换 结果 为 


HA=H,H,_,---H,A (4.1.35) 


在 此 变换 过 程 中 ,一般 并 不 关心 总 的 Householder 矩阵 H = HH, Hy» 而 只 起 对 
H 作用 于 矩阵 4 的 最 后 结果 HA 感 兴趣 。 不妨 令 A, = Ay Ak- W 


T 

Ay = Hy Ay, = (z - 2 ) Aga = Ap Dwi (4.1.36) 
DE DE 

w, =BAL%, B=-2/(vEv.) (4.1.37) 


于 是 ,最 后 的 Householder 变换 结果 即 是 HA = HA, 10 
在 47 节 ， 我 们 将 具体 介绍 如 何 利用 Householder 变换 实现 矩阵 的 QR 分 解 及 其 在 


自 适 应 信号 处 理 中 的 应 用 。 
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4.2 Givens 旋转 


如 4.1 节 所 述 , 利用 Householder 向 量 v IHH 所 作 的 Householder 变换 结果 是 
原 向 量 = 关于 超 平面 v+ 的 反射 镜像 ， 并 且 保 持 了 原 向 量 的 长 度 不 变 。 现在 , 我 们 来 看 
可 以 保持 向 基 长 度 不 变 的 另外 两 种 变换 算 子 。 


4.2.1 反射 与 旋转 
为 方便 计 , 考查 2 x 1 实 向 量 z = [zl,zz]T,， 其 几何 表示 如 图 4.2.1 所 示 。 


图 4.2.1 反射 


令 向 量 xz 的 长 度 为 , 幅 角 为 o 即 有 


r=? +3, 2,=rcos¢, Ts=rsing (4.2.1) 


现在 将 向 量 x 顺 时 针 旋 转 o 角 ( 即 逆 时 针 旋 转 ~0), 得 到 另外 一 个 向 量 = [ny]. 
显然 ， 向 量 y 和 向 量 x 具有 相同 的 长 度 r M r= yy ty = Vote ok, 而 其 幅 角 为 
8 一 0。 于是, 利用 式 (4.2.1) 得 


yı = 7 cos(8 — $) =rcosdcos# +rsingsind = 2, cosh + sz sing 


Y2 = rsin(@ — $) = rsin ĝ cos ¢ — r cosOsin g = x, sin — x, cos 


或 写作 矩阵 形式 


加 | = ee | [z] =g E] = Qe (4.2.2) 
定义 正弦 参数 s = sind 和 余弦 参数 c = cos, MERE 


Q= [s sing | _ i 中 (4.2.3) 


sinf —cosé 8 一 C 
容易 验证 ，@ 既是 对 称 和 矩阵， 又 是 正 交 和 矩阵 。 EE @ RARE, AAR 
AER. 
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显然 , 若 选择 8 = 由 Wy, = recos- 0) =r 和 yo =—rsin(o— 6) =0, ARR 
ER Q 将 向 量 = = [el,zz]7 变换 成 了 向 量 y = [ya] +09, 0]7, 仍然 达到 了 使 向 量 o 的 
某 个 元 素 变 为 0, 并 且 向 量 长 度 保持 不 变 的 变换 目的 。 易 知 ， 此 时 


c= t= (4.2.4) 
Jute Vitp “ 
52 = —P (4.2.5) 


= V+ Vite 
AP, p= 23/11 H 2, 40. 
由 于 反射 矩阵 Q 为 对 称 和 矩阵， 故 


(Qz)! =£" =27Q (4.2.6) 
这 表明 , 若 
EJET] aan 
则 有 
[1,29] E = | Vat ¥23,0] (4.2.8) 


如 果 我 们 不 是 将 向 基 x 顺 时 针 旋转 9 角 , 而 是 逆 时 针 旋 转 9 角 ， 得 到 向 量 y, 则 其 
长 度 仍然 为 "但 幅 角 变 为 w+ 9, 参见 图 4.2.2. HN, 有 


Y = rcos(ó + 6) = rcosdcosd — r sin ġsin 8 = x, cos8 — x, sind 


yz =rsin(¢ + 8) =rsindcos# + r cos sin 8 = x, sind + 2, cond 


或 写作 矩阵 形式 


网 = [oe a Poy 站 <a" 加 = Gs (4.2.9) 
cos# sin? c 8 
c= en a = [5 :] (4.2.10) 
Zé IER 


式 (4.2.9) 表明 , 一 个 2 x 1 向 量 = 与 G 相 乘 的 结果 Gta, 相当 于 将 x 在 平面 上 旋 
转 为 y。 因此, 线性 变换 G 称 为 “平面 旋转 ”， 或 称 作 旋转 矩阵 。 


图 4.2.2 旋转 
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选择 不 同 的 旋转 角 9 可 以 将 不 同 的 元 索 过 为 堆 
(1) SH E - 9, 则 旋转 后 的 向 是 y = [0, Vara |": 

(2) 当选 择 9 = 0 一 少时 , 旋转 后 的 向 最为 y= -VET 可 中。 

F 面 的 例子 说 明 ,经 过 适当 选择 参数 , 反射 和 旋转 可 以 提供 相同 的 变换 结果 。 
例 4.2.1 假定 z= [v31]. 如果 令 


Q= [eos30° sm3 | _ V3/2 1/2 
~ |sin30° —cos30°| ~ | 1/2 —V3/2 


则 Qa: = [2,017。 即 是 说 , 通过 30° 的 反射 ,可 以 使 向 量 s 的 第 二 个 元 素 置 为 零 。 另 一 方 
面 , #4 


cos(—30°) | _ es 1/2 

—sin(—30°) cos(—30°)| ~ | 1/2 al 

则 GT 2 = 2,0)". 因此, 也 可 以 利用 -30° 的 旋转 使 向 量 x 的 第 二 个 元 素 置 成 零 。 
应 当 指 出 , 虽然 在 茶 些 情况 下 , 反射 和 旋转 可 以 提供 相同 的 变换 结果 , 但 旋转 还 能 够 

得 到 反射 无 法 提供 的 变换 结果 。 因此 , 下 面 将 十 要 讨论 旋转 。 


c-| 


4.2.2 Givens 旋转 
AGE 1846 4, Jacobi 255 就 提出 了 将 一 个 对 称 矩 阵 简化 为 对 角 算 阵 的 方法 。 为 了 


纪念 这 位 数学 家 ， 式 (4.2.10) 的 变换 常 被 称 为 Jacobi 旋转 。1958 年 ，Givens 5 改进 了 
Jacobi 的 方法 , 提出 使 用 元 素 满足 条 件 


e+e =l (4.2.11) 
的 单位 矩阵 的 秩 2 修正 矩阵 
1 0 0 0 
0 e s . Ôj; 
Gij 8) = |: : : : (4.2.12) 
0 ~s c oji 
0 0 0 
i j 


Givens PARR ATI AT VLEET EBAY AEE AT FRE, 推广 并 改进 了 Jacobi 的 方法 。 由 
TR (4.2.12) 的 变换 比 式 (4.2.10) 的 变换 更 常用 ， 人 们 后 来 常 将 Jacobi 旋转 改称 Givens 
HERE. Golub 与 Loan 在 他 们 的 著名 教材 “Matrix Computations” 中 曾 强调 指出 : Jacobi 
旋转 与 Givens 旋转 没有 任何 不 同 De4P4s5l。 本 . 悄 也 采用 Givens 旋转 这 一 术语 。 容 易 验 
iE, Givens 旋转 矩阵 GG, 7,0) AEE. 
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老将 Givens 旋转 作用 TARERE x = [lza，…,znjT， 则 元 素 x; 和 zx; 通过 角 
FE @ = arctanfsye) 被 旋转 ， 而 其 他 元 素 保 持 不 变 。 

Givens 旋转 具有 两 个 有 用 的 性 质 。 首先 , 向量 = 的 Givens 旋转 结果 y = Ge 的 元 
素 为 


Y; = CT, ~ 82, . 
Yj = SU; +CT; (4.2.13) 
Ve = Te Ej 

只 需要 4 次 乘法 和 2 次 加 法 。 其 次 , 选择 


EA Ty 


c= ， s=- (4.2.14) 
fo? +a? ju? + 2? 
则 有 
v= y+? y =0 (4.2.15) 


即将 原 向 量 = 的 第 j 个 元 素 2, 变 为 0。 
使 用 一 连 串 Givens 旋转 , 即 可 将 矩阵 X 主 对 角 线 以 下 的 元 素 全 部 消去 ,得 到 上 二 
SAFER . 
下 面 的 例子 说 明 如 何 应 用 Givens ERRER A 的 第 1 行 变 成 基本 行 向 量 [1,0,… ,0 
的 倍数 。 
例 4.2.2 以 5x4 和 矩阵 


> 

I 
xxxxa 
x XXX oO 
X XXX 
xXx xX & 


为 例 , RP, x 表示 任意 元 素 值 。 首 先 ,使 用 Givens 旋转 消去 矩阵 A 的 元 素 b 即 


fa b c a, 0 c d] 
x x x % o # # x x 
x x x x{ | % % =|# # xx 
x x x x 1 # # xX x 
x x x x # # x x 
矩阵 4 只 有 第 1 列 和 第 2 列 的 元 素 发 生变 化 。 然 后 ,再 用 Givens 旋转 消去 元 素 o B 
E 0 a 0 0d 
fi # x x} | s ? # * ?| 
# xx 1 -je gx 
# # x x|| 9 1 # # * x 
# # x x * # x x] 
第 一 次 变换 后 的 矩阵 只 有 第 1 列 和 第 3 列 的 元 素 发 生变 化 。 Bla. 使 用 Givens 旋转 消去 
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元 素 d, 具体 运算 为 


@ 0 0 d fa 0 0 0 
+ gx? 1 $2 x # * x 
* # „sx 1 一 |x # x x 
* # * x x # x 
# # * x| O78 g x # : x 
在 以 上 三 式 中 , He, x 分 别 表示 相应 变换 之 后 的 结果 , 其 具体 数值 不 是 我 们 关心 的 对 象 。 


第 二 次 变换 后 的 矩阵 只 有 第 1 烈 和 第 4 的 家 有 生化 。 容 易 求 得 二 次 Givens 旋 
转 的 参数 分 别 为 
2 s = 一” a, = ya? +b? 
as s= c az= ya} t= Var +R +2 
d 
co = JATE 52 一 VET a3 = y +d = ya? +b? +e? +d? 
此 ， 三 次 Givens 旋转 得 到 的 行 向 量 [es,0,0,0] 保持 了 原 行 向 量 [a,b,c,d] 的 范 数 。 
车 矩阵 A 为 对 称 矩 阵 ， 则 可 以 将 矩阵 A 的 元 素 ag 和 ais 同时 变 为 零 , 因为 根据 


， ， 0) =sin(6)] fou ag 8) sin(g 
G5, 0)AG(, 5,8) = [SOO ol 2] Ea ea 


a, 0 
7 É Pal 
可 以 求 得 Givefs 旋转 的 参数 为 
tan(26) = 


2aiy (Qi; + 053) 
a a (4.2.16) 
上 述 讨论 表明 , 利用 一 系列 Givens 旋转 , 可 以 加 速 将 一 个 对 称 和 矩阵 A 对 角 化 , 这 便 构成 
了 对 称 矩 阵 特征 值 分 解 的 Givens 方法 (或 Jacobi 方法 )。 


4.2.3 快速 Givens 旋转 


以 一 种 可 选择 的 方式 引入 零 的 能 力 使 得 Givens 旋转 在 一 些 结构 化 的 问题 中 成 了 一 
种 重要 的 置 零 上 具 。 下 面 考察 Givens 旋转 的 快速 算法 。 


1. 1 # Givens 快速 旋转 


I 0 0 0 
0 .i B ` 1 Ola 
Flij ob)= |: : : : (4.2.17) 
Oce 1o- æ Off 
0 0 0 1 


4.2 Givens 旋转 


219 


2. 2 型 Givens 快速 旋转 


1 0o Que 0 
Oe Lee 0 
FG, 3,0, 8) = |: : : 
0o Be Le OF 
0 … 0 0 1 
i 了 


(4.2.18) 


假定 FG, 3,0, p) 作用 于 向 量 z = [r 2], H 2x2 IAEE D = ding(d,, dz)» 


ig 


mf al 
注意 到 
mel fris] 
和 


dg +8? dy By + day 
MIDM, = 2 + By 
1 > [as +da, dı + afd, 


SOR a, #0, 并 取 a, = ~2,/0; 和 万 = adad 则 


mets] 


Tj 


和 
0 


= [e&lit+n) 
mrpm = | 0 alta) 


| =0, 


其 中 , y = -ob = (d2/4)(8;/2;} 
类 似 地 , Bo, 关 0, 并 定义 
mol 


A, 1 


其 中 , ag = —2;/ 2,» By = — (d1/d2)@z> 则 
wi" 


MIDM, = acy %2) aaam] =D, 


Al 


其 中 , y = -ap = (dy /4y)(a3/2;)?- 


(4.2.19) 


(4.2.20) 


容易 证 明 , KER F k= 1 oh 2, EE J = DM, D; O 都 是 正 交 的 , ABR 


m, [E AOR MAR. 因此 , 称 7 AHER, BAJ 也 可 


[以 是 一 反射 。 
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Givens 旋转 利 快速 Givens 旋转 之 间 的 主要 区 别 在 丁 , 后 者 避免 了 平方 根 运 算 , 办 此 

有 必要 指出 , 除了 使 用 Givens HEAR GT(i,j,9)A, 可 以 将 任意 n xn ABE A 16 
成 对 角 矩 阵 外 ,使 用 Givens AiR AG(i,j,9) 也 能 够 达到 相同 的 目的 。 只 使 用 左 乘 或 右 乘 
的 Givens 旋转 称 为 单 过 Givens 旋转 。 与 之 不 同 , 对 n x n SRE 4 同时 使 用 Givens 
旋转 左 乘 和 右 乘 的 方法 OT (i, j, VAG, 7,9) 则 称 为 双 过 Givens 旋转 。 


4.2.4 Kogbetliantz 算法 


前 面 讨论 了 三 对 称 和 矩阵 的 单 边 Givens 旋转 和 对 称 矩 阵 的 双边 Givens 旋转 。 显 然 , 只 
采用 左 乘 束 者 右 飞 的 单 过 Givens 旋转 , 尽管 可 以 使 用 快速 Givens 旋转 , 仍然 无 法 实现 一 
A nx n ARR REAR Ate. 因此 , 需要 对 Givens 旋转 加 以 推广 , 加 速 非 对 称 和 矩阵 
的 对 角 化 过 程 。Givens 旋转 的 推 ) 有 几 种 不 同 的 形式 , 这 里 介绍 一 种 由 Kogbetliantz 提 
出 的 算法 (2591, 现在 习惯 上 称 之 为 Kogbetliantz 算法 。 这 种 算法 的 分 析 是 后 来 由 Forsythe 
与 Henrici tl59] 给 出 的 。 

很 明显 , 为 了 加 速 非 对 称 矩 阵 的 对 角 化 过 程 , 应 该 使 用 双边 旋转 变换 。 然而 , 又 不 可 
能 用 一 个 相同 的 Givens 旋转 同时 左 乘 和 在 乘 需要 对 角 化 的 非 对 称 矩阵 A, AARE 
不 能 同时 使 其 元 素 a,; 和 aj; 变 成 零 。 Kogbetliantz 算法 的 基本 思想 是 对 非 对 称 矩 阵 使 用 
两 个 不 同 的 Givens 旋转 左 乘 和 右 乘 4。 因 此 , 这 是 -种 双边 韭 对 称 的 Givens 旋转 变换 。 
显然 ,适用 于 对 称 矩 阵 的 双边 对 称 Givens 旋转 起 Kogbetliantz 算法 的 一 个 特例 。 

SEE i<j, 矩阵 A, 的 (i,j) 约 化 由 两 个 Givens 旋转 实现 : Givens 旋转 了 (全 作 
JET i TA j 行 ， 另 一 个 Givens 旋转 Ji, jo) 作用 于 第 i 列 和 第 了 列 , 并 且 希 望 所 
得 到 的 新 矩阵 Arp EOE (i,j) 和 (站 处 的 元 素 均 为 零 , 亦 即 

cosb —sing] [ay a,;][ cosd sing] _ fa 0 
[ase eo oy) [Sake mdb a] az 


sing cos | [a;; —sing cosé} |0 aj, 


从 上 式 不 难得 知 ， 旋 转角 O 和 6 可 以 由 公式 
2(ajia 十 55045) (4.2.22) 


tan(20) = 
(28) a2, + 02; ~ af, — 0% 
和 Oj, aytan oii+ ostand 
tang = ——2 — = 一 一 一 一 一 (4.2.23) 


a, — a, tan? ajj + a, tan? 


确定 ， 或 等 价 地 ， 由 公式 


(aijai + ajA) 
tan(2g) = 7 HE Oyn (4.2.24) 
OO) Oh ago- a 
和 ， 
tang =- Qy HO tan _ Xj — Oy tang (4.2.25) 
i antag a, — otang 


确定 。 使 用 上 述 旋转 角 9 和 4 的 Givens 旋转 称 为 Kogbetliantz 算法 。 
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从 稳定 性 考虑 ， 在 式 (4.2.23) 和 式 (4.2.25) 中 总 是 取 绝 对 值 比较 大 的 商 。 如 香 式 
(4.2.23) 中 的 商 为 070， 则 对 应 的 2 x 2 和 矩阵 将 是 零 矩 阵 ， 在 这 种 情况 下 两 个 旋转 都 应 跳 
过 去 不 做 。 

比较 式 (4.2.16) 与 式 (4.2.22) A, DRE A EINER, HHR 8 = 6, MAX 
(4.2.22) 或 式 (4.2.24) 将 简化 为 式 {4.2.16)。 也 就 是 说 , 此 时 Kogbetliantz 算法 简化 为 一 般 
的 双边 Givens 旋转 。 

有 关 Kogbetliantz 算法 的 具体 应 用 , HAB 6 章 结合 广义 奇异 值 分 解 等 介绍 之 。 

Householder 变换 与 Givens 旋转 在 俱 阵 的 分 解 中 是 两 种 基本 的 工具 ,我 们 将 在 以 后 
的 各 节 看 到 它们 的 应 用 。 


4.3 ”和 矩阵 的 标准 型 


在 矩阵 的 线性 变换 中 ， 相 似 变换 起 着 十 分 重要 的 作用 。 通常 , 根据 应 用 上 日 的 的 不 同 ， 
我 们 需要 规定 相似 变换 后 的 矩阵 具有 不 同 的 规范 形式 , 这 种 规范 形式 简称 矩阵 的 标准 型 。 
在 这 些 标准 型 中 , 算 阵 的 一 些 性 质 显得 直观 明了 。 矩阵 标准 型 选择 不 同 , 基于 相似 变换 的 
和 矩阵 分 解 也 就 各 异 。 因 此 , 在 详细 介绍 矩阵 分 解 之 前 , 我们 先 来 讨论 矩阵 的 标准 型 。 
和 矩阵 的 常用 标准 型 有 以 下 三 种 ; 
(1) WAJER: 最 简单 和 最 理想 的 标准 型 , 但 它 不 一 定 总 能 够 实现 。 
(2) Jordan AUER: 为 上 双 对 角 和 矩阵 ， 其 上 对 角 线 的 元 素 为 1 或 0。 这 种 标准 型 总 
能 够 实现 , 但 不 一 定数 值 稳定 。 
(3) 上 三 角 撼 阵 ， 实 际 中 最 合理 的 一 种 折衷 方案 ,因为 将 原 矩阵 变 为 一 个 三 角 型 托 
阵 的 相似 变换 可 以 通过 一 系列 的 初等 西 变 换 实 现 , 并 且 它 是 数值 稳定 的 变换 。 
例如 , 三 个 3 x 3 矩阵 


[e 0 | h 0 ql h 1 i 
A=|0 A» O], 4=|0 A» ifj, As=]O A 1 
0 0 Ag 0 0 As 0 0 As 
都 是 Jordan 型 矩阵 。 

撼 阵 分 解 的 目的 是 将 和 矩阵 分 解 为 某 些 特定 形式 的 乘积 。 

定义 4.3.1 MRP Ac OP? 与 一 个 对 角 答 阵 相似 ， 则 称 A 是 可 对 角 化 的 (有 
时 也 使 用 术语“ 可 对 角 的 ”)。 

定义 4.3.2 ”两 个 可 对 角 化 的 矩阵 A, B OX” 称 为 同时 可 对 角 化 的 ， 蔡 存在 单个 
相似 矩阵 S e OP” 使 得 S-145 和 SBS 都 是 对 角 的 。 

矩阵 的 训 对 角 化 是 矩阵 的 奇异 值 分 解 、 特 征 值 分 解 和 CS 分 解 的 基础 。 两 个 矩阵 的 
同时 可 对 角 化 是 矩阵 来 分 解 (广义 特征 值 分 解 , 广义 Schur 分 解 等 ) 的 基础 。 

Jordan 标准 型 二 一 组 “几乎 对 角 的 ”(almost diagonal) 矩阵 , 称 作 Jordan MIME. HE 
角 和 矩阵 是 一 种 最 简单 的 Jordan 矩阵 。 一 个 与 给 定 答 阵 A 相似 的 Jordan SEMPER AKERE 
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A 的 Jordan 标准 型 。 一 旦 已 知 某 个 矩阵 的 Jordan 标准 型 , 那么 有 关 该 矩阵 的 所 有 线性 


代数 信息 〈 即 线性 变换 ) 也 就 已 知 。 
定义 4.3.3 (Jordan 块 矩阵 ) 一 个 Jordan RERE J 了 (和 ) 是 一 个 具有 以 下 形式 的 及 x 


上 三 角 和 矩阵 : 


aa 0 
入 1 
Jà) = To (4.3.1) 
od 
0 入 
而 Jordan 矩阵 是 Jordan 块 矩 阵 的 直 (HE) 和 ,好 
Ja, Ar) 0 
In, Ox) 
J= 7 二 (4.3.2) 
0 Ta, Ox) 


其 中 , 阶 数 mw 可 以 相同 , 而 A 值 不 一 定 不 同 。 
下 面 的 定理 叫做 Jordan 标准 型 定理 。 
定理 4.3.1 $ Acorn 为 一 已 知 复 矩 阵 , 则 存在 一 个 非 奇异 矩阵 Se CO 满足 


条 件 
Tn, A) 0 


Ja, 0a) p 


> 
tt 
i 


0 Fn, Ox) 
=SIS", m+ +n =n (4.3.3) 
A 的 Jordan 矩阵 是 唯一 的 (对 角 Jordan 块 的 排列 次 序 人 允许 不 同 )。 式 中 , 特征 值 和 (i = 
1,2,.… ,和 不 一 定 不 同 。 如果 A 是 具有 实 特 征 值 的 实 矩 阵 ， 则 相似 矩阵 S 可 取 实 矩阵 。 
TEAR 见 文献 [224]。 
与 矩阵 分 解密 切 相关 的 其 他 常用 憩 阵 标准 型 还 有 三 角 和 矩阵 和 三 对 角 和 矩阵， 我 们 将 企 
以 后 各 节 结 合 相似 变换 和 矩阵 标准 型 详细 解说 矩阵 的 各 种 分 解 。 


4.4 ”和 矩阵 分 解 的 分 类 


所 谓 和 矩阵 的 分 解 (decomposition 或 factorization)j， 就 是 通过 线性 变换 ， 将 某 个 给 定 
或 已 知 的 矩阵 分 解 为 二 个 或 三 个 矩阵 标准 型 的 乘积 (个 别 情况 下 分 解 为 两 个 矩阵 标准 型 
之 和 )。 

虽然 矩阵 的 分 解 有 十 几 种 之 多 , 看 似 零乱 , 但 是 它们 之 间 实 则 有 着 明显 的 类 属 。 在 这 
里 ,我们 主要 根据 矩阵 分 解 后 得 到 的 矩阵 的 标准 型 以 及 是 对 单个 矩阵 还 是 两 个 矩阵 组 成 
AOE REX (matrix pencil) 或 矩阵 对 (matrix pair) 进行 分 解 来 划分 矩阵 的 分 解 类 别 。 
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L 单个 给 阵 的 分 解 

根据 矩阵 A 分 解 后 的 矩阵 的 标准 型 ， 可 分 为 以 下 四 大 类 。 

(1) 对 角 化 分 解 
这 类 分 解 是 道 过 正 交 变 换 , HEME A 对 角 化 的 , 包括 以 下 三 种 形式 。 

O 奇异 值 分 解 (SVD): A=USV" R UTAV = X, 其 中 , U 和 V 二 者 为 酉 矩 
BE, D 为 对 角 和 矩阵 (针对 一 般 手 阵 的 对 角 化 分 解 )。 

© 特征 值 分 解 (EVD): AMA = VEV” iR AA" =U EU" (针对 对 称 矩 阵 的 对 角 
化 分 解 )。 

图 CS 分 解 : 可 看 作 是 正 交 短 阵 分 块 的 同时 对 角 化 分 解 。 

(2) 三 角 化 分 解 
这 类 分 解 将 矩阵 4 SRN IEEE SARE AR, 或 分 解 为 -个 上 三 角 和 矩阵 
与 一 个 下 三 角 和 矩阵 之 积 ,主要 有 以 下 一 种 形式 ， 

@® Cholesky 分 解 : A = GGT, 其 中 ，G 为 下 三 角 捧 阵 《针对 对 称 正定 矩阵 的 二 角 
化 分 解 )。 

© QR 分 解 : 4 = QRR 或 QTA = RR, 其中, Q EETHEN, TR ELE ARE 
(针对 一 般 窍 阵 的 三 角 化 分 解 )。 

图 LU 分 解 : 4 = LU, 其 中 , LEŽ PS AGES, 而 U 是 上 三 角 和 矩阵 (针对 非 
奇异 矩阵 的 三 角 化 分 解 )。 

(3) 三 角 - 对 角 化 分 解 
将 矩阵 分 解 为 三 个 矩阵 标准 型 (两 个 三 角 矩 阵 和 一 个 对 角 矩阵 ) 之 积 ,或 分 解 为 
两 个 矩阵 标准 型 (对 角 和 矩阵 和 上 三 角 抢 阵 ) 之 和 。 这 类 分 解 有 以 下 形式 。 

@ LDMT 分 解 , 4 = EDM", 其 中 , LA M 为 单位 下 二 角 和 矩阵 , 而 D HAE 
PE (针对 非 对 称 和 矩阵 的 三 角 - 对 角 化 分 解 )。 

人 LDLT 分 解 : A= LDL (针对 对 称 和 矩阵 的 三 角 - 对 角 化 分 解 )。 

图 Schur 分 解 : Q8E4Q = D +N, 其中, Q 是 西 矩阵 , EXAMS, 而 N 是 严 
BLE ASE (针对 复 和 矩阵 的 三 角 - 对 角 化 分 解 )。 

(4) 三 对 角 化 分 解 
Householder 三 对 角 化 分 解 : HTAH =T, 其 中 , H = HH Hp 为 House 
holder 变换 之 积 , AT BEWARE. 


2. ERRON 

矩阵 束 的 分 和 解 主要 用 于 求解 矩阵 束 的 广义 特征 值 分 解 (GEVD) 问题 Ar = ABz(z # 
0) 的 QZ 方法 中 , 它 涉及 两 个 矩阵 的 同时 分 解 。 这 类 分 解 的 主要 形式 是 广义 Schur 分 解 。 

POM Schur 分 解 : QUAZ=T A Q*BZ=S. 其 中 , Q 和 了 为 两 矩阵 , TAS 
为 上 三 角 和 矩阵 。 

实现 广义 Schur 分 解 需要 先 使 用 Hessenberg 三 对 角 化 分 解 :@T42 = H A QTBZ = 
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T, 其 中 , QHZ AIZE, 和 为 上 Hessenberg SME, m T EEOAE. 
更 形象 些 , 我 们 可 以 把 矩阵 分 解 的 上 述 各 种 类 型 画 成 图 4.4.1 所 示 的 矩阵 分 解 树 ( 品 
PHF). 


BREDE 
对 角 化 分 解 4 特征 什 分 解 
CSa 
Cholesky 分 解 
nang | 三角 化 分 解 QR 分 解 
Aer LU 分 解 
LDMT 分 解 
三 角 一 对 角 化 分 解 LDLT AE 
Schur 分 角 
二 对 角 化 分 解 ; Honseholder 一 对 朋 化 分 角 


铝 阵 分 解 


广义 Schur 分 解 


SER (race, 三 对 入 化 分 角 


图 4.4.1 矩阵 的 分 解 树 


从 下 节 起 ,我 们 将 分 类 具体 介绍 矩阵 的 各 种 分 解 。 


4.5 ”对 角 化 分 解 


任意 矩阵 的 奇异 值 分 解 和 对 称 和 矩阵 的 特征 值 分 解 是 工程 中 应 用 最 广泛 的 两 种 徐 阵 分 
解 。 奇 异 值 分 解 有 多 种 推广 , 例如 两 个 矩阵 乘积 的 奇异 值 分 解 和 算 阵 束 的 ) 义 奇异 值 分 
解 等 。 特征 值 分 解 也 有 一 种 以 矩阵 束 为 对 象 的 推广 即 广义 特征 值 分 解 。 我 们 将 在 第 6 章 
专题 解说 奇异 值 分 解 及 其 推 ) 的 定义 、 性 质 、 计 算 方法 与 应 用 。 由 于 特征 值 分 解 的 主要 
应 用 是 特征 子 空间 分 析 方 法 , 所 以 将 在 第 8 章 中 详细 讨论 之 。 本 节 只 介绍 对 角 化 分 解 类 


中 的 CS 分 解 。 
定理 4.5.1 poq (CS 分 解 ) 2 (e +3) x (十 四 SEPE 
= [ea Qe 
a= [an 如 
是 正 交 的 , 其 中 , Qu Æ k x k 4E, JEE k > js 则 存在 正 交 矩阵 Ti, Yi € Re+ 和 正 
ZPE Un, Va © I 使 得 
I; 0O O 
U, 0O] fQu Q2] [Vi O]_ 1°57 
g A (8: 3z] o vd = | 9 S 5! (4.5.1) 
C = diag(e1, 6a 67) C; = cos 8; (4.5.2) 


5S = diag(sl1,s2 ,8;), s; = sin 0; (4.5.3) 
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HOSA <8, S <0 S 1/2. 
粗略 地 讲 ，CS 分 解 相当 于 将 -个 正 交 矩阵 的 各 个 分 块 同时 对 角 化 。 
例 4.5.1 ERE 


~0.761 一 0.698 —0.006 
Q= 0.548 —0.555 —0.626 
0.433 一 0.451 0.780 


是 正 交 的 - 因此 ,选择 正 交 矩阵 
0.999 -0.010 0.000 
U= | -0.010 -0.999 0.000 
0.000 0.800 1.000 
一 0.721 —0.692 0.000 
V= | —0.692 0.721 0.600 
0.000 0.000 1.000 


则 有 
1.000 0.000 0.000 
UTQV = | 0.000 0.780 0.625 
0.000 —0.625 0.780 


换言之 , 在 定理 4.5.1 中 相当 于 取 关 = 2,7 = 1, JfH e = 0.780, si = 0.625. 


4.6 Cholesky 分 解 与 LU 分 解 
本 节 讨 论 三 角 化 分 解 中 的 两 种 形式 : Cholesky 分 解 和 LU 分 解 。 由 于 QR 分 解 应 用 
非常 广泛 ， 所 以 我 们 将 在 4.7 节 专 题 讨 论 它 。 
4.6.1 Cholesky 分 解 


设 4= [ay] € A" EM RIE, A = GGT 称 为 矩阵 A 的 Cholesky 分 解 , 其 
中 , Ge 本 xm 是 一 个 具有 正 的 对 角 线 元 素 的 下 三 角 算 阵 ， 即 


Ay 0 
gu | 和 9 (4.6.1) 
Ini Inz U Ian 
比较 A = GGT 两 边 , BB 
了 
ai = > Geb 
k=1 
从 而 有 i 
+ 
gi = ig ~ Doin Ix =P) (4.6.2) 


kel 
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如 果 知 道 了 G 的 前 了 一 1 列 , 那么 v(i) 就 是 可 计算 的 。 
在 式 (4.6.2) PS i=j, 立即 有 g3 = v(J)。 然后 , 由 式 (4.6.2) 得 


94 = vi)/g;; = 0O/VeG) (4.6.3) 
总 结 以 上 讨论 , 可 得 到 计算 Cholesky 分 解 的 下 述 MATLAB 算法 (184, 


for j=1:n 


fori=jin 
v(i) = aiz; 
fork=1:j-1 


v(i) = v(i) ~ 9493 


end 
oy = v/V; 
end 


end 

这 一 算法 叫做 Gaxpy Cholesky 算法 。Gaxpy 意 即 广义 的 saxpy， 而 “saxpy” 是 在 软 
件 包 LINPACK 中 被 定义 的 术语 ， 它 是 “标量 arty” SEI (scalar alpha x plus y) 48 
写 。saxpy 运算 定义 为 
2=Ont+y = z; = At +y 
而 Gaxpy 运算 系 指 矩 阵 运 算 z= Ax +y 

以 上 分 析 结 果 可 以 归纳 为 上 面 的 定理 。 

定理 4.6.1 (Cholesky 分 解 ) 如 果 A © R 是 对 称 正定 矩阵 ， 则 Cholesky 分 解 
有 4 = GGT 是 唯一 的 , 其中, FZR G e R"x" 的 非 零 元 素 由 式 (4.6.3) 决定 。 

下 三 角 和 矩阵 G BH Cholesky 三 角 。 另 外 ，Cholesky 分 解 也 谓 之 平方 根 方法 , 因为 下 
TAER G TARHI A 的 “平方 根 ”。 

MEAL AGED A MEADE AT 可 以 通过 Cholesky 分 解 求 得 , MA 


A`! =G TG-! (4.6.4) 


其 中 , GT = (GT) 
例 4.6.1 ERIH Cholesky 分 解 求 解 矩阵 方程 Aw = b。 由 于 


GrI4hz= GT = GTr=h 


其 中 , A= Gob, WS Gh = b。 比较 Gh= 两 边 的 向 量 元 素 , BAM h 的 元 素 
h, 的 递 推 计算 公式 如 下 ; 


h = b/g 

et 4.6.5 

no(a- Bata): izaan (8) 
Sea fel 
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现在 , 方程 As =b 的 解 等 价 为 Ge = h 的 解 。 EEE GT AL APE, 因此 @ 可 以 
利用 熟知 的 回 代 法 求 出 : 


En = hafun 
1 起 (4.6.6) 
a= (n- Se) > i=sn-ln-2-,1 
ig ko 
4.6.2 LU 分 解 


在 求解 线性 方程 组 Ax =b 时 ， 如果 能 够 通过 正 交 变换 , 将 m xn KE A 分 解 为 
A=LU, 其 中 , LAmxm NT AEE (对 角 元 素 为 1 的 下 三 角 和 矩阵 ); HHU E 
A Hm x n MEREM. 这样 一 来 , 线性 方程 组 Aw = b WEA LUL = b, 它 可 以 简单 
求解 。 

为 了 求解 线性 方程 组 LUs =b, Sy = Uw。 丁 是 方程 组 变 为 Ly =b, 解 之 得 y E 
求解 Ue = y 即 得 方程 组 的 解 向 量 so TA, 通过 矩阵 的 LU 分 解 , 线性 和 矩阵 方程 Ax = b 
的 求解 分 为 两 个 三 角 托 阵 方程 的 求解 ， 具 体 算法 如 下 : 

步骤 1 计算 和 4= LU; 

步骤 2 用 前 向 回 代 法 求解 下 三 角 和 矩阵 方程 Ly = b: 

FR3 用 后 向 回 代 法 求解 上 三 角 矩阵 方程 Ux = y。 

上 面 的 算法 可 以 推广 到 线性 矩阵 方程 AX = B 的 求解 ， 其 中 ，4 © Re 非 奇 
F, B,X € R™?, if X = [ohbza æ) B= [b bz, p bpl 

以 下 算法 可 用 于 求 出 未 知 的 矩阵 X: 

计算 J4 = LU 
fork=1:p 
求解 Ly = Jb, 
求解 Uz = 二 yy . 


end 


T 


其 中 , J 了 是 nxn RIER BIJ = [en,ea_1,… :el], Me, 为 基本 向 量 。 

因此 ,关键 问题 在 于 算 阵 4 的 LU 分 解 。 

定理 4.6.2 (LU 分 解 ) 如 果 A e Rn"xn TAH, HAR LU 分 解 存在 的 话 , 则 4 的 
LU 分 解 是 叭 一 的 , H det(A) = tgrt tinno 

证 明 $ A= LU, 和 4= LU, 是 非 奇 异 矩阵 A 的 两 个 LU 分 解 , 则 LU, = 
LU, 由 于 by L, EATE, 并 且 U2UT! 起 上 三 角 和 矩阵 , 所 以 这 两 个 矩阵 必 
定 都 等 于 单位 矩阵 ， 否则 它们 不 可 能 相等 。 就 是 说 , Dy = Lo U, = U2, BD LU 分 解 是 唯 
一 的 。 若 A= LU, 则 det(A) = det(LU) = det(L) det(U) = det(U) = waitoo Unne 国 

下 面 介绍 矩阵 的 LU 分 解 的 初等 行 变换 方法 。 
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第 1 章 的 满 秩 分 解 算法 几乎 可 以 照搬 到 LU 分 解 中 。 
算法 4.6.1 (处 阵 的 LU 分 解 的 初等 行 变换 算法 ) 
SRI 利用 初等 行 变换 将 矩阵 A 化 为 阶梯 型 矩阵 U, BD 


E E, 


a [] [ =U 

步骤 2 对 单位 矩阵 执行 与 步 绎 1 相应 的 初等 行 逆 变 换 , 得 到 单位 上 -= 角 矩阵 工 , 即 
Ee Br .Er . 
rs, ] 5... 5 jab 


输出 LU 分 解 由 4= LU 给 出 。 
关于 上 述 算法 , 有 两 点 注意 事项 ; 
(1) PR 2 的 初等 行道 变换 Bi! 是 步 最 1 对 应 的 初等 行 变 换 EE, 的 逆 变 换 。 
(2) SAR 1 中 定义 aR, + Ry 为 将 第 p 行 元 素 滋 常数 a 之 后 , 加 给 第 g 行 的 初 
等 行 变 换 ， 则 步 又 2 中 相应 初等 行 逆 变 换 (aR, +R)! 定义 为 -aR, + Ryo 
例 4.6.2 用 算法 4.6.1 RERE 
2 4 -1 5 -4 


A= -4 -5 3 -8 2 


的 LU 分 解 。 
解 (1) 步骤 1 使 用 初等 行 变换 将 矩阵 4 变换 为 阶梯 型 矩阵 U: 

2 4 -1 5 -4 

-4 -5 3 -8 2 | 2R+R2 一 RiTBa A= 

2 -5 -4 1 16 BR +R, 17 

-6 0 7 -3 2 


A= 


f2 4 -1 5 -4 24 -1 5 +4 
4 -|0 3 1 2 -6| artk _/0 3 12 -6 
15| o -9 -3 -4 20 | mirn 2? |00 0 2 2 
[9 12 4 12 -10 00 04 4 
[2 4 -1 5 -4 24 -1 5 -4 
_|0o3 1 2 -6 | -2+R 03 12 -6| 
4=-|oo 02 2 4=|oo 02 2/78 
00 04 14 00 00 10 
(2) 步骤 2 (AUS ee 4 x 4 SAE RE Re i p= 
1000 1000 
0 1 0 0| 2+, 0100 
=lo 01 0 “A=lo 010 
0001 0021 
1000 1 000 
0100 4R,+Ry 0 100 
G=] o 01.0 | tae |o -3 1 0 
0021 0 421 
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1 000 1 000 
0 100 3R; +R, R; + Ry —2 100 

= SR RRs Fa, 了 一 
C=| o -3 10 tman Y 1-310 
0 4241 3 421 


(3) fit SERRA 的 LU 分 解 : 


2 4 -1 5 -4 1 0090 24 -1 5 一 4 

A= -4 -5 3 -8 2|_|-2 10 0 03 12 -6 
2 -5 -4 1 16 1 -3 1 0 00 02 2 

-6 0 了 -3 2 -3 4:2 1 00 00 1 


=LU 
事实 上 , 也 可 以 利用 步 绎 1 将 A BORE U 过 程 中 的 有 关 和 矩阵 A, Ay, AQ, U 
的 主 元 列 构 造 单位 下 二 角 斌 阵 Le 具体 方法 是 : 
(1) 取出 A 的 第 1 个 主 元 所 在 的 列 (不 大 -一 般 性 , 假定 为 第 1 列 ), 将 其 归 一 化 (第 
一 个 元 素 为 1) 后 , 作为 工 的 第 1 列 。 
(2) 取出 A) 的 第 ;个 主 元 及 下 面 的 间 列 元 素 构成 的 部 分 组 成 一 个 (n 一 让 x1 向 


量 , 将 其 归 一 化 后 , 作为 工 的 第 宇 列 的 下 半 部 分 ,其 中 ,一 2 3，… ,n。 
针对 例 4.6.2, 矩阵 A, A,, Ap, Ay 被 抽出 的 主 元 列 及 其 妇 一 化 结果 分 别 为 
2 1 000 
-4 3 aan -化 ,| -2 10 0) z 
2| 1-9|T2 1 -31 0|7 
-6 12 4][10] -3 421 


这 与 运用 初等 行道 变换 的 结果 相同 。 
4.7 ”QR 分 解 及 其 应 用 


矩阵 的 QR 分 解 臣 在 工程 中 应 用 最 广泛 的 一 种 矩阵 分 解 。 先 看 QR 分 解 的 性 质 。 


4.7.1 QR 分 解 的 性 质 


定理 4.7.1 (QR 分 解 ) HACR™™", Hmn 则 存在 列 正 交 的 矩阵 Q < RO 
ALAM Re Bmxn 使 得 A=QR. 当中 = 时 ，@ PERM. 如 果 A 是 非 奇 
Bitnxn ER, UR 的 所 有 对 角 线 元 素 均 为 正 ， 并 且 在 这 种 傅 况 下 Q 和 二 者 是 唯 
一 的 。 车 4 RE, 则 @ 和 RE. 

TEAR 见 文献 [224]。 

注意 到 ATA = (QR)T(QR) = RTR, 因此 可 以 得 出 结论 : G = RT 是 ATA 的 下 
三 角 Cholesky 因子 。 由 于 这 个 原因 , 在 关于 估计 的 文献 中 , EER 常 称 为 平方 根 滤波 器 
( 算 子 )。 

面 的 引 理 称 为 矩阵 分 解 引 理 MAON, EEEREN QR 分 解 的 应 用 中 是 一 个 有 用 
的 结果 。 
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引 理 4.7.1 8AM BRERA mx nE, W 
ANA = BEB (4.7.1) 
当 且 仅 当 存在 一 个 m x m BER Q, 使 得 
QA=B (4.7.2) 
证 明 充分 性 证 明 : # QA = B, 并 且 Q EAER, 则 BTB = APQUQA = AMA, 
必要 性 证 明 : > AHB 的 奇异 值 分 解 分 别 为 
A=U,5,V} 
B=U,2_Vi 
式 中 , Ua MU, WA mxm BG: V4 和 Ye 都 是 nxn BER: 而 m xn MD, 
A Es 分 别 包含 了 矩阵 AA B 的 非 负 青 异 值 。 HT ` 
AFA= VATSaAVy 
B'B=V,LEE,VE 
车 AM A= B"B, WE Va =Vp M X, = Ep EGE 
Q=U,U4 
易 知 
QA= Usrrg4=UaeUaUaD4V =Up8 Vý =B 


这 就 证 明了 引 理 的 必要 条 件 。 a 
下 面 介绍 三 种 主要 的 QR 分 解 算法 (采用 修正 Gram-Schmidt 法 的 QR 分 解 、 采 用 
Householder 变换 的 QR 分 解 和 采用 Givens 旋转 的 QR 分 解 ) 以 及 它们 在 自 适应 信号 处 


理 中 的 典型 应 用 。 
4.7.2 ”采用 修正 Gram-Schmidt 法 的 QR 分 解 | 


矩阵 A 的 QR 分 解 可 以 利用 Gram-Schmidt 正 交 化 方法 实现 。 
Gram-Schmidt 正 交 化 方法 原本 是 一 种 由 n DEE aaz: ,an 构造 互相 正 交 且 范 
数 为 工 的 向 量 q,q2,… ,9 的 方法 。 将 向 量 a, 标准 正 交 化 的 结果 取 作 ay, B 


Ru = llel} } 7 (4.73) 
> = 
然后 ， 从 aa 中 除去 与 ai 平行 的 分 量 , 再 进行 标准 正 交 化 , 并 将 结果 取 作 q WA 
Ry = ay 
Ry = lag — qı Rrall | (4.7.4) 
ga = (a2 — R12)/ Roo 
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进而 , 又 从 as 除去 与 ay 和 az 平行 的 两 个 分 量 , 再 进行 标准 正 交 化 ， 并 使 用 该 结果 作 
qa 即 有 


Ris = qfas 
Fog = qias 
Rss = llos — R13 ~ qoRos| 
gs = (as ~ Qı Rag — qo Raa)/ Fog 
如 此 继续 , WHT qi (2<k <n) A 


Be=qor,  1<j<k-1 


(4.7.5) 


kor 
Rer = llag — x a; Ry] 
jal (4.7.6) 


k-i 
ak = (e. 一 Saz) /Ros 


j=1 


容易 验证 , q; 起 标准 正 交 基 , 即 满 足 


dla; = y (4.7.7) 


RH, dy 为 Kronecker 6 函数 。 如 果 令 m x n 矩阵 A 的 列 向 量 为 cz,az，… ,an， 则 以 
91,42，,… ,qn VARA @ 与 A 之 间 有 下 列 关系 : 


A=QR (4.7.8) 


又 由 下 g; 组 成 标准 正 交 基 , 所 以 
QQ=I, 
将 A 和 重 写 在 同一 矩阵 , 应 用 以 上 Gram-Schmidt 正 交 化 的 方法 叫做 经 典 Gram- 
Schmidt 正 交 化 法 , 其 过 程 可 以 用 图 4.7.1 说 明 。 
pF—m—+ 
e qafe [pes | 


| 


图 4.7.1 ”QR 分 解 的 经 典 Gram-Schridt 正 交 化 算法 
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Björck [| 发 现 , 对 经 典 Gram-Schmidt 正 交 化 法 加 以 修正 , W EAE R 的 元 素 

不 是 按 列 , 而 是 按 行 计算 时 , 舍 入 误差 将 变 小 。 这样 一 种 修正 方法 叫做 修正 Gram-Schmidt 

正 交 化 算法 。 具 体 说 来 ，ai 的 标准 正 交 化 结果 取 作 qg (这 与 经 典 Gram-Schmidt 正 交 化 

法 相同 ), 但 同时 需要 从 ana, ,an 预先 减 去 与 a, 平行 的 分 量 , 邮 
Ra =la, q = a/R 

aP =a, —aki;, resent 


4.7.9 

Ry; = dha, (479) 
经 过 以 上 运算 后 , 向 量 a! a, D aP 与 qi EE. 
然后 , 将 af) 标准 正 交 化 , 并 从 al) a,- -… ,a 由 RES af? 平行 的 分 量 , 得 


Ra = lla" ||, go = 02/ Roz 

Ro, = = gia"? , a? = a) — Ro; , 3Sjen 
这 样 构造 的 向 量 aP aP, a? 5 ay, ay 均 正 交 。 重 复 这 一 过 程 ， 就 可 以 将 4 和 @ 
重 写 在 同一 矩阵 。 图 4.7.2 示 出 了 修正 Gram-Schmidt 正 交 化 算法 的 运算 过 程 。 


(4.7.10) 


iis aja fa Jaa | 


图 4.7.2 QR 分 解 的 修正 Gram-Schmidt 正 交 化 算法 


为 了 分 析 误 差 的 情况 , 假定 gz 包含 有 少量 与 q 平行 的 分 量 , 即 go + sgl。 应 用 经 
典 Gram-Schmidt 法 , K qz 和 as 的 内 积 Ra 时 ,有 具体 计算 如 下 ， 


(a + eqf)as = q3 ag + Eq a 


而 在 修正 Gram-Schmidt 法 中 , R Ay, 时 计算 的 是 gz 和 aP = aa 一 Rq 的 内 积 , BE 


(4.7.11) 


(af + eq} )(as - Risg) = aay + egies — eRis = Gas (4.7.12) 


比较 式 (4.7.11) 与 式 (4.7.12), 可 以 看 出 , 经 典 方法 比 修正 方法 多 第 二 项 误差 。 尤 其 是 当 
[Ros] < |Rygl PY. 修正 Gram-Schmidt 法 减 小 误差 的 效果 将 更 明显 。 


4.7.3 ”Householder QR 分 解 


Householder 变换 可 以 实现 任意 m x n ERE 4 的 QR 分 解 ， 其 原理 是 使 用 变 维 向 基 
的 Householder 变换 , 使 得 该 向 量 除 第 一 个 元 素 外 , 鞭 他 元 素 汉 变 成 0。 
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根据 Householder 变换 一 节 的 分 析 , ME -I p 维 向 量 z = [Do ,zp]T 的 第 1 
个 元 素 后 面 的 所 有 元 素 变 为 0, 则 p 维 的 Householder 向 量 应 取 


= 22 fer (4.7.13) 
VBO- 2) 
式 中 
B=-lzillel, 8= -Fel (4.7.14) 
fl 
假定 mxn 处 阵 4 的 列 分 块 形式 为 
Amyn = [aa ,Qn] 


首先 令 s= a = [iaa ,Gmaj 人， 并 取 p = m, 则 按照 式 (4.7.13) 和 式 (4.7.14), 可 以 
计算 得 到 u, = wmo 此 时 ， 


Hi=I-wu > 4 一 百 4= (al? a®,.-. a] (4.7.15) 


变换 后 , 矩阵 A, 的 第 1 列 aP 的 第 一 个 元 素 等 十 (a, 十 a +t aa) 而 该 列 的 
其 他 元 素 全 部 为 0。 
SOOM A, 的 第 2 列 oY, 令 p=m 一 1 和 


T 
yg 1 
z= [oh al, ay] 


可 按照 式 (4.7.13) 和 式 (4.7.14) 求 出 (m — 1) 维 向 基 wnio 此 时 , 取 wa = la ° |: 
[得 到 


x 
e 


5 


H,=I-uul > A,=H)A,=H)H,A= [a®, aP,- ,a?)| (4.7.16) 


1) 


变换 后 , HOPE Ay 的 第 1 列 与 A, 的 第 1 列 相同 , 而 第 2 列 af” 的 第 一 个 元 素 等 于 oly), 
BARRET (la? + [oP P +--+ [QE], TAAN TERAN 0。 

类 似 地 ， 又 可 针对 和 矩阵 A, 的 第 3 列 设计 Householder 变换 矩阵 Ha> 使 得 A 的 第 
一 、 二 个 元 素 保持 不 窑 , 其 他 元 素 组 成 的 mm 一 2 维 向 量 = = [oa ,a 名] 变换 为 
除 第 一 个 元 素 外 的 全 部 元 素 变 为 0。 

假定 第 阵 4 经 过 一 1 次 Householder 变换 后 , 已 变 成 ACY, M 


Af) = H, AG = Ay HA 
= [oF Piaf, a8], k= 2,3, 


并 且 其 前 上 一 1 列 共有 以 下 变换 结果 : 


T 
af? = fal, alt Yo, 0] f= 1 kod 
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此 , 第 大 次 Householder 变换 的 目的 就 是 保持 前 一 1 列 不 变 , 实现 AC-I 的 第 大 列 
的 下 述 变 换 : 


(k-1) 
l [Pe 
1 
pr Pht k 0 
k . = 
1) 
Bsn, k 0 


:这 相当 于 对 和 矩阵 AC) 进行 Householder 变换 HAT 时 取 


[Ti-: 0 
-| 0 4, 


n 次 Householder 变换 后 , 即 可 实现 QR 分 解 。 
例 4.7.1 已 知 线性 方程 组 


zı 十 272 一 5 
22, +323 一 一 2 
62, +723 =1 


用 Householder 变换 求 上 述 方程 组 的 最 小 二 乘 解 。 
解 记 增 广 矩阵 
1 2 5 
， 4=|23 8 
6 7 21 
针对 第 1 列 [1,2,6]T, 由 式 (4.7.13) 和 式 (4.7.14) 求 得 Householder 向 量 u, = (1.075, 0.290, 
0.871]T。 经 过 Householder 矩阵 H, =I -uul 变换 后 , 得 


一 6.415 一 7.826 —23.008 
H,A= 0 0.592 0.875 
0 0.808 1.438 


针对 上 述 矩 阵 的 第 2 列 , 计算 Householder 向 量 wz = (0, 1.161, —0.809]T. 经 过 House- 
holder 变换 H, = 了 一 uuz 后 ， 即 得 QR 分 解 为 


: —6.415 —7.826 —23.008 
H,H,A=| 0 一 1105 —1.851 
0 0 —0.160 


由 此 得 线性 方程 组 


一 6.415zl — 7.8262 = 一 23.008 
一 1.105zs = 一 1.851 


加 


用 回 代 法 解 之 , 得 zs = 1.675 和 zl = 1.543。 将 这 两 个 解 代入 原 方程 ,得 三 个 方程 的 
拟 合 误差 分 别 为 el = 0.107, ez = 0.111 和 es = 0.017。 
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WREE A, 的 秩 小 于 n, WER Householder QR 分 解 不 一 定 能 够 产生 


CZE 


EQ. WT MRIK PAR, Golub 与 Van Loan 提出 使 用 带 有 列 旋转 的 Householder QR 


分 解 算法 Ba4p239 。 该 算法 计算 分 解 


T — Ry Ry» 
Q AH= E O 


(4.7.17) 


RP, Q XEXE; Ry, Ar xr LE AEM, HAR r= rank(A); HERE AB 


BIER, 矩阵 乘积 AIT 表示 对 矩阵 A 的 列 互 换 ( 称 为 列 旋转 )。 


列 旋转 (column pivoting) 的 原则 是 : 在 对 矩阵 A 的 第 & 列 进行 Householder 变换 之 
前 , 先 比 较 4 的 第 有 列 至 第 n 列 中 各 列 的 范 数 , 并 把 范 数 最 大 、 旦 与 第 大 列 相距 最 近 的 
ANBA piv(k), 然后 将 第 piv(k) 列 与 第 天 列 相互 交换 位 置 。 这 相当 于 第 k 次 列 旋转 矩阵 


H, 由 nxn 单位 矩阵 交换 第 piv(k) 和 第 天 列 而 成 。 
算法 4.7.1 (具有 列 旋 转 的 Householder QR 分 解 算法 )[84,P.235] 
for j=1:n 
cli) = A(L:m,7#)P A(L: m, 3) 
end 
r= 0; 7 = max{e(1), c(2),--- ,c(n)} 
求 满足 c(h) = 7 的 最 小 整数 
while 7 > 0 
r=r+1 
piv(r) =k: A(1: m,r) = A(L: m, k); efr) = elk) 
vr : m) =heuse(A(r : m,r)) 
A(r : m,r : n) = row.house(A(r : m,r : n), ofr : m)} 
Afr +1: mr) =v(r+1:m) 
fori=r+icn 
c(i) = efi) — A(r, i)? 
end 
ifr<n 
T =max{e(r + 1), e(r + 2),--- ,c(n)} 
Ek=rtlr+2 中, 求 满足 clk) = r 的 最 小 整数 


end 


上 述 算 法 中 ，v = house(z) 代表 针对 向 量 z 的 Householder 向 量 函 数 ; 而 A = 
row.house(A,v) 为 Householder ÆRA RG BAA] Householder 变换 结果 PA = (I 一 


2vvTjvTv)A 重 写 矩阵 A。 
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具有 列 旋转 的 Householder QR 分 解 在 矩阵 的 奇异 值 分 解 与 特征 值 分 解 中 有 着 重要 
的 应 用 。 

虽然 我 们 分 别 叙述 了 修正 Gram-Schmidt 法 和 Householder 法 两 种 QR 分 解 方法 , 但 
大 这 两 种 方法 在 数学 上 丰 等 价 的 。 除 了 存在 Q 的 第 了 列 和 R 的 第 了 行 的 符号 可 同时 反 
转 的 白 由 度 以 外 , 修正 Gram-Schmidt 法 和 Householder 法 是 相同 的 。 


4.7.4 采用 Givens 旋转 的 QR 分 解 


Givens 旋转 也 可 以 几 来 计算 QR 分 解 。 这 里 以 4 x 3 矩阵 为 例 ,说 明 Givens QR 分 
解 的 思想 : 


x x x [x x x @ x x x x x 
x x x| eg] x xj eje x x| azjo x x (3,4) 
@x x @ x x 0 x x 0 @ x 
® x x to x x 0 x x 0 @ x 
x x x [x x x x x x 
0 & x| esj x xj eaj x x 
o @ x| Jo o e| “Jo o x 
0 0 x [0 0 & 0 0 0 
其 中 , @ 表示 用 Givens 旋转 进行 变换 的 元 素 。 
从 上 述说 明 中 易 得 出 结论 : 如 果 令 G; 代表 约 化 过 程 中 的 第 j 次 Givens 旋转 ， 则 
QTA = RR 是 上 二 角 钴 阵 , 其 中 , Q= GG Go 而 + REMARK. 


例 4.7.2 用 Givens 旋转 求 例 4.7.1 所 示 线 性 方程 的 最 小 二 乘 解 。 
解 构造 增 /矩阵 


先 用 Givens 旋转 消去 X 的 (3,1) TOR 6。 为 此 , 选择 c= 一 0.1663, s = 0.9859, WA 


—0.1663 0 一 0.9859 —6.081 —7.234 一 21.536 
Ga=| 0 1 0 > GuX=| 2 3 8 
0.9859 0 一 0.1663 | o 0.808 1.438 


为 了 消去 Ga X M (2,1) TER 2 选择 c= 0.952, s= 0.313, 故 


0.952 —0.313 0 -6.415 一 7.826 ~—23,008 
Ga =| 0313 0952 0| > GaGaX=| 0 0.592 0.875 
0 0 1 0 0.808 1.438 


在 Gsz 中 选择 c= —0.6527, s 二 0.890, 消去 GaGa X 中 的 (8,2) 元 素 , 得 QR 分 解 


fio 0 [ 6.415 —7.826 —23.008 
Ga = | 0 -0.6527 —0.8900 | 一 GaGuGaX =| 0 —1.105 —1.851 
Lo 0.8900 一 0.6527 L 0 0 一 0.160 
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由 此 得 线性 方程 组 
—6.41571 — 7.8262, = 一 23.008 
一 LI105zs = —1.851 
其 解 与 例 4.7.1 的 结果 相 问 , 也 为 z = 1.543 和 za = 1.675。 
47.5 基于 QR 分 解 的 参数 估计 问题 
现在 以 系统 辨识 为 例 , 说 明 如 何 利用 矩阵 的 QR 分 解 进 行 系统 参数 的 递 推 估计 。 
令 系统 在 k RIAA x(k), 系统 输出 的 观测 值 由 卷 积 方程 


ylk) = 2(k) * 0, + elk) = 3 O;0(k — i) + e(k) = 276 + e(k) (4.7.18) 


i=0 
给 出 , 其中, * 表示 离散 卷 积 , e(k) 代表 时 刻 的 观测 误差 ， 且 
wy = [e(k), 2(k — 1),--- ,wk — p)” 
8 = [go,9 ,0,]T 
着 将 k= 1,2,… ,n 的 所 有 观测 数据 组 成 一 向 量 , 则 


Yn = Anh +e, (4.7.19) 


RP, ya = WOLY) YAM s en = [e(1), e(2), ,e(n)IT> A, = [Era Epo 

系统 辨识 问题 的 提 法 是 : 已 知 系统 输入 z(x) 和 输出 观测 值 y(%), 其 中 , k= 1,2,---, 05 
估计 系统 参数 向 量 0. 在 时 变 系统 的 辨识 中 , 则 要 求 在 已 估计 n 时 刻 的 系统 参数 向 量 gu 
的 情况 下 , 使 用 增加 的 s(n +1), y(n +1) 值 , 通过 简单 的 运算 , 递 推出 n+ 时 刻 的 系统 
参数 向 量 Opio n 时 刻 的 系统 辨识 问题 可 以 化 为 最 小 二 乘 问题 


min |.4,0, ~ tala (4.7.20) 


求解 ,并 且 其 解 由 “法 方程 ” 
ATA,O, = Alyn 或 RisOn=Tn (4.7.21) 


ME RP, Ro = ATA, 代表 系统 输入 x(k) 的 协 方差 矩阵 ，rn = ATy, 
直接 求解 式 (4.7.21) 的 方法 叫做 协 方差 方法 。 例 如 ， 先 计算 协 方差 矩阵 Ro M 
Cholesky 分 解 R,, = GGT， 然 后 利用 回 代 法 解 三 角 矩 阵 方程 GT76。= Gr, 直接 
得 到 Gao RM, 由 于 Re = AA, 的 条 件数 是 4。 的 条 件数 的 平方 , 因此 , 直接 计算 式 
. (4.7.21) 得 到 的 解 有 可 能 是 严重 病态 的 ( 即 条 件数 很 大 ), 即使 A,, 本 身 的 条 件数 并 不 人 ， 
不 是 严重 病 ; 态 的 。 
在 系统 参数 向 量 8 的 自 适应 递 推 辨 识 中 ， 标 准 的 递 推 最 小 二 乘 (RLS) 法 和 UTDU 
分 解法 M 都 是 针对 协 方差 矩阵 Ror 进行 更 新 的 。 虽然 UTDU 分 解 (其 中 , U 为 上 三 角 
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矩阵， 万 为 对 角 和 矩阵 ) 在 数值 上 比较 稳定 , 但 是 这 些 递 推 辨识 方法 也 同样 存在 条 件数 变 
大 的 毛病 。 
相 比 之 下 ，4。 的 QR 分解 可 以 保持 原 问 题 的 条 件数 不 变 。 不妨 令 


QiAn = (3) (4.7.22) 


SUH, Q, 是 nxn CAER, R, 是 (p 十 1)x (p+1) LEXA, m O X (n—p-1)x(pt+1) 
维 零 矩 阵 。 

由 于 正 交 变换 可 以 保持 被 变换 的 向 量 的 Euclidean 长 度 或 范 数 不 变 , 所 以 式 (4.7.20) 
的 最 小 二 乘 问题 可 等 价 写作 


2 
了 T T. 
in [0740n -egy| (4.7.23) 
或 
min [2,8 ~ Balls + loll (4.7.24) 
式 中 
T, Ün 
= |: 4.7. 
ain = |B] (47.25) 


Ha, X (pt) x1 Foe pa X (n-p-1)x1 向 量 , CATT A Oly, 直接 分 块 得 到 。 
一 旦 获得 了 pe 即 可 由 RO, = 9, 得 到 9。 解 此 方程 需要 n(n + 1)/2 次 运算 , 并且 
最 小 残 差 值 等 于 lönle 
假定 增加 了 两 个 已 知 数值 z(n +1) 和 y(n 41), 我 们 来 讨论 如 何 更 新 系统 参数 的 估 
计 , 即使 用 已 估计 的 参数 向 量 9。 和 简单 的 运算 , BS n+1 时 刻 的 新 估计 98,41。 为 了 减 
小 过 去 数据 对 参数 估计 的 影响 , 对 数据 z( 和 y(k) 采用 指数 加 权 , 即 n 十 1 时 刻 的 数据 
矩阵 和 观测 数据 向 量 分 别 取 作 


= [AAn | Ava 
Agia = [as] ， Wn luc Ml (4.7.26) 


sth, 0 < A < 1 称 为 遗忘 因子 , 且 gp =[e(n+1),0(n),---,2—p). 于 是 , 可 以 写 
出 式 (4.7.20) 在 (ma + 1) 时 刻 的 形式 为 


Onti = arg min Anes? 一 Vasile 


pie- Leoll 
Tati y(n + Dl, 


(4.7.27) 


=argmin 
Buy 


乍 一 看 ,上 式 似乎 没有 什么 特别 吸引 人 之 处 ,其实 不 然 。 这 是 因为 ， 如 同 下 面 的 引 理 所 
述 , È (4.7.27) 的 极 小 化 变量 等 价 为 下 述 式 (4.7.28) 的 极 小 化 变量 , 而 后 者 非常 适合 于 递 


推 更 新 。 


47 QR 分 解 及 其 应 用 239 


引 理 4.7.209 车 A, = Qn | 他 | Qty, = | 了 | ,其 中 ，Q。 EEEE, R, 是 上 
ZAER, UR (4.7.97) 的 极 小 化 变量 等 同 于 F 式 的 极 小 化 变量 ; 


Bux = arg min Anti — Unsafe 


Re] °- beto] , 


2 


= arg min (4.7.28) 


Arr Anyi =X Ap An + Engin = Ra Ra + Enpa =R R 


à 
Ane | = PAT Yn + Bagi +1) 


工 
=” le] Qn + Enplan +1) 
= Rp Un + Enp t1) 
_ hr| Aa 
=k le + n] 
或 写作 AT noi = Ryn 注意 到 式 (4.7.27) 是 法 方程 4TH Ang 9 = Anan 的 
最 小 二 乘 问题 的 表示 ， 而 式 (4.7.28) 是 法 方程 R Re = Roy, 的 最 小 一 乘 问题 的 表 
示 。 由 结果 AT AL = RRA Alayna = Rl yay, 立即 知 , 法 方程 A An 一 


ATY MR RO = R yny 等 价 , 这 就 证 明了 本 引 理 。 M 
如 果 将 式 (4.7.28) 的 极 小 化 变量 记 作 8,41， 则 以 上 讨论 可 总 结 为 Oppi 的 自 适 应 递 
推 估计 算法 如 下 。 


算法 4.7.2 (系统 参数 的 自 适应 估计 算法 ) 
PRL MER R= [| 进行 QR 分解, 得 


QR = Qar sal = Fa] (4.7.29) 


RP, Qua. 是 (n +1) x (n +1) EZER, Rep 为 (p+1) x (p+ 1) EZAR, HO 
是 (n 一 p) x (p+ 1) SHB. 
步骤 2 进行 分 块 运算 


T = Ben] 
Qariynt1 Han 


其 中 , ti A (P41) x1 向量, Gays X (2p) x1 EE 
步骤 3 求解 三 角 矩 阵 方程 Rayban = Fon 得 到 Ora 
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4.7.6 ÆF Householder 变换 的 快速 时 变 参 数 估计 
SH nx (p+1) HE 


yg Apt 
| 
Any Qn2 UO On pl 
的 Householder QR 分 解 ， 节 
alı aiz alpy 
Q aj Bott 
HyA,= {0 0 > apripti (4.7.30) 
0 0 0 
0 oO: 0 


GR, 只 需要 进行 p 次 Houscholder 变换 即 可 。 RAZ, 为 了 得 到 上 述 QR 分 解 , 应 该 选 
择 H,, 为 p 个 Householder 变换 矩阵 之 积 2071, R 


H, = Hn(p)Hnlp - 1). H,(1) (4.7.31) 


式 中 


HA) =1-ujuf/o;, §=1,2,---,p (4.7.32) 


是 对 矩阵 AD = H,-D)H,(2)H, (DA, 第 7 了 列 向 量 a? a9,- ONT 进行 的 House- 
holder 变换 和 矩阵, 其 参数 选择 方法 为 gzq 


= D 
a; = a; (a; + lapl) jp (4.7.33) 
0, i<j 
u(i) = a? +sgn (a2?) aj, fat 
a, i>j 
其 中 
AGH) = AD ua? (4.7.34) 
HA 


a7 = ul AQ fo; (4.7.35) 
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HERS Householder QR 分 解 算法 28 如下: 


forj=1:p 
aj = a)? + (ae 5) 
a; = ala, + [ays 


n= a) + sen(a\? Je,:; 
n, = 4/25; 
Hy = ah e 3/053 
fork=j:p+1; 

Th = nas + ao sya 
G+) _ 4) 


ajk ajk — Tri 
age = aay 一 由 Ti 
end 
end 


基于 QR 分 解 的 自 适应 参数 估计 算法 Peod Ben 一般 由 两 个 分 开 的 过 程 组 成 : 


(1) 递 推 更 新 QR 分 解 QTA = RPK LEASE R: (2) 用 
由 于 直接 的 


Fl 


F| 


RIER AEREN FR 


REE O(m?) 次 运算 (m 为 数据 长 度 ), 因此 , 即便 Householder 变换 再 快 


SR, 整个 自 适 应 算法 也 至 少 需要 O(m?) 次 运算 。 文献 [281] 将 上 述 快速 Householder QR 
分 解 算法 和 求解 三 角 和 矩阵 方 穆 的 问 代 法 综合 起 来 考虑 ,提出 了 只 具有 O(n) 复杂 度 的 快 


速 自 适 应 算法 ,具体 如 下 所 述 。 


算法 4.7.3 (基于 Housebolder QR 分 解 的 快速 白 适 应 参数 估计 算法 )i281 


步骤 1 初始 化 

n=00=0, 3=0, 了 = [IT 
步骤 2 计算 

f=wf fi=—ws, f" = Yni 
步骤 3 Householder 变换 


H =1, W = fmi 
fori=1:m 
B" = 1? a= yfi F Or", 
o=alat |fal) p=1- 1"/0; 
n= fa + sgol fua, 5, = —san( fu) HI fos 


Fa = —san(fale, T= (fim +H frtm) Oi 


Fimen = famti — NT, fmtl,m+1 = Fmtiym+1 
H= Hp, W = 再 


end 


-ET 
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PRA 回 代 
Y=0; Sm = ~fnmtl Om = Sm/ frm 
fori=m—1:—1:1 


Y= 94 fn 
Si = fimp — Gy, 4, = sif fas 
end 
步骤 5 若 TFlag = True, Wik. BW, BHR 2， 并 执行 以 上 步骤 ， 直 至 
T.Flag = True。 其 中 , T.Flag 是 程序 的 终止 标志 。 


4.7.7 基于 Givens 旋转 的 时 变 参 数 估计 


现在 考虑 另外 一 种 递 推 方法 ; 递 推 求解 0, 的 变化 量 da 而 不 越 直 接 递 推 求 8,,,1 本 
身 。 换 名 话说 , > 


Ont =O, + 6, (4.7.36) 
问题 是 如 何 更 新 5,。 
EEO Q 为 已 知 , CHE 
g [ARa] ~ Ros 4.7.37 
ebal lo] (ran 


T 
Eat o 


由 式 (4.7.28), 式 (4.7.36) RIR (4.7.37) BS ðn 是 上 式 的 极 小 化 变量 : 


ahile- petol- feo} | 


COCNA 0m 


LH, unt1)=y(n+)—-22,,0,. 因此, 6, TOMS Bea 


Sn = arg gin 


此 式 又 可 简化 为 


6, = arg min 


Ridn = Oni (4.7.39) 
解 出 , 其 中 , Dep 满足 
Dn =0 0 
Re Pol =Q ho + A (47.40) 


为 了 求 出 满足 式 (4.7.37) KÕ, TEH Givens 平面 旋转 进行 清 零 ,将 式 (4.7.37) 
中 的 行 向 量 oD, 的 全 部 元 素 变 成 零 。 由 于 Q 必须 左 乘 式 (4.7.40), 所 以 对 增 /的 矩阵 


和 Rn 0 
[oe uln+ Dl (4.7.41) 


执行 所 需要 的 清 零 。 RAUEN EPRE HEPR N: 
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(1) 计算 预测 误差 六; — 上 6 CRIT “spr” ): 

(2) 形成 式 (4.7.41) 中 的 (n+ D) x (n + 1) 矩阵 ( 子 程序 “newaqr”): 

(3) 利用 一 系列 Givens 旋转 将 上 述 业 阵 最 底 一 行 的 左边 n 个 元 素 扫除 为 零 (FHF 
“sweep” Hil “givens” ); 

(4) 解 上 三 角 矩 阵 方程 (47.30) 得 到 ô, ( 子 程序 “solve” )。 

利用 Givens 旋转 求解 方程 A0 = y 的 递 推 最 小 二 禾 算 法 的 MATLAB 程序 如 下 [9: 


function X = Ispr(A,y, A) 
[m,n] = size(A); x = zeros(n,1); dz = zeros(n, 1); 
fork=1:m 
$= Alk,:)5 e= ylk) — g' #2; 
[R, yb] = newar(R, ¢,e, A); dr = solve(R, yb); 
s= g+ dr; X(k,:) =z; 
end 
function [R, yb] = newar( R, ¢, e, A) 
[m,n] = size(R); BigR =[R zeros(n,1); ¢’ el; 
for i=1:n 
BigR = sweep( Big R, i, À); 
end 
R = BigR(1 : n,1 : n);yb = BigR(1 : n,n + 1); 
function A = sweep(A,#, A) 
[m,n] = size(A); [c, s] = givens(A(i, i) * à, A(n, ©)); 
Alii) =r; A(n i) = 0.0; dam = c+; slam = sd; 
for k=iitl:n 
a= Ali,k)* clam + A(n, k) * 8; 
A(n,k) = —A(i,k) * slam + A(n, k)» c; Ali, k) =a; 
end ` 
function x = solve( R, b) 
pn, n) = size( R); 
fork=n:—1:1 
sum = 0.0; 
frj=k+l:n 
sum = sum + R(k, j} *2(7,1); 
end 
a(k, 1) = (bE) 一 sum) /R{k, k); 


end 


上 述 算法 中 , 同时 对 矩阵 4 和 向 量 y 应 用 Givens 旋转 , 因此 无 需 存储 正 交 和 矩阵 Q. 
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48 三 角 一 对 角 化 分 解 


本 节 讨 论 和 矩阵 的 另 一 种 分 解 , BURR A 分 解 为 三 个 矩阵 的 乘积 , 三 个 矩阵 中 两 个 为 
三 角 和 矩阵 ,一 个 为 对 角 和 矩阵 。 先 介绍 LDMT 和 LDL? 两 种 分 解 。 其中, LDMT 分 解 可 以 
看 作 是 LU 分 解 的 一 种 变型 , 而 LDLT 分 解 则 是 LDMT 分 解 在 对 称 和 矩阵 情况 下 面 的 一 个 
特例 。 


4.8.1 LDM” M LDLT 分 解 


定理 4.8.1 (LDMT 分 解 ) E A © RO” 的 所 有 子 和 矩阵 都 是 非 奇异 的 ， 则 存在 两 个 
唯一 的 单位 下 三 角 甜 阵 工 和 MM 以 及 一 个 唯一 的 对 角 窍 阵 D = diag(d1, dz dn) 使 得 
A=LDM",. 

证 明 由 定理 4.6.2 知 , 矩阵 AH LU 分 解 4 = LU. $ D = diag(di, dz dn), 
EP, di = upi= 1,2,.… ,n。 注意 到 D 是 医 奇 异 的 , 并 且 MT = DOU 是 单位 上 三 角 
JERE, 因此 A = LU = LD(D TU) = LDM". 分 解 的 唯一 性 可 以 从 定理 4.6.2 所 述 LU 
分 解 的 唯一 性 得 到 。 a 

LEH, SERRE LDMT 分 解 可 以 利用 LU 分 解 得 出 。 下 面 介 绍 三 个 矩阵 
L, D 和 MM 的 直接 计算 方法 。 

假定 矩阵 工 的 前 了 ~- 工 列 、 对 角 和 矩阵 D 的 对 角 线 元 素 ddz ,dj_1 以 及 矩阵 M 
的 前 7 ~ 1 行 均 为 已 知 (其 中 , 1 入 了 <n). 为 了 找到 计算 LG 十 12 用， MOG j1) 和 
dj WRE, 令 4 = LDM" 两 边 的 第 j 列 相等 。 特别 地 , 有 


A(lin,j) = Lv (4.8.1) 


式 中 , v= DMT e,. R (4.8.1) 的 上 半 部 分 定义 v(1 :为 下 三 角 和 矩阵 方程 


EL 5,4: fy: j) = AN: 9,9) (4.8.2) 
的 解 ,下 半 部 分 则 给 出 方程 
LG +i:nt: fod: 9)=AG+ 1:73) 
它 又 可 以 改写 作 
LG t1inl:foG)=AG+1ing)-—LGt1inl:7-Yol:j-1) (48.3) 
~AR (4.8.2) 解 出 v, 即 可 求 出 


dj) = v(i) 
m(j i) =v(i)/d@, 4 =1,2,---, 7-1 
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然后 , 又 可 以 从 式 (4.8.3) AB LA 7 列 。 有 具体 算法 如 下 064 。 
算法 4.8.1 (LDMT 分 解 ) 者 AG R” FE LU 分 解 ， 则 下 面 的 算法 计算 单位 下 
TAW LPM URIA D = diag(d,, dz dn), 并 使 得 4 = 三 DRMT。 作 为 输 
出 结果 ，aij 分 别 存放 by(i > j) ya = j) A myli < jjo 
for7=1in 
求解 LO: js jej) = AL? G) 
vl j) = A:j j) 
fork=1:j—1 
u(k+1:f)=u(k+1: 9) — vk A(R +1: 9,4); 
end 
计算 MG,1:3 一 1), 并 存储 在 AN: 5-19) 
fori=1:j-1 
Ali j) = v(i) AG ih 
end 
存储 dG) 在 AVS) 
AG, j) = v(i); 
计算 LG +1: nj) 存储 在 AG +1: nj) 
fork=1:j-1 
AG +1: mj) =AG+1:n,f) — RAG +1: n,k); 
end 
AG +1: nj) = AG +1: n jk 
end 
如 果 A 是 对 称 矩 阵 ， 则 LDMT 分 解 简化 为 LDLT 分 解 。 
定理 4.8.2 4 A= LDM™ 是 非 奇异 的 对 称 矩 阵 4 的 LDMT 分 解 , W L=M. 
证 明 E MIAMI = MULD 既是 对 称 的 , ME FEAR, RIENA. 
由 于 D 是 非 奇 异 的 , 所 以 这 意味 着 ML 也 是 对 角 的 。 i, MIL 是 单位 下 三 角 的 ， 
所 以 MT 二 = 了 B 


4.8.2 Schur 分 解 


利用 相似 变换 ， 能 够 把 一 个 给 定 的 矩阵 简化 为 几 种 标准 型 之 一 。 从 数值 称 定性 考虑 ， 
利用 画 和 矩阵 的 相似 变换 自然 是 最 有 吸引 力 的 。 
31 4.8.1 HACC, BEC MX ECV? 满足 条 件 


AX=XB, rank(X)=p (4.8.4) 
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则 存在 一 酉 矩阵 Ue CO 使 得 


H apealfu Tu| P 
UAU =T= K Tel ap (4.8.5) 


p n-p 


证 明 r 
2 |Tu Tl |% | ,lz 
Te= o re] i] =à l] 
h, æ, € CPx1， x, € CO1, 如 果 ra #0, W Taazs = Xza， 因 此 AE A(T 2). HF 
w =0, W Tit = As 从 而 AE AT )o FÆ, AT) € ATu) UAT). 但 是 , 由 于 
AT) 和 ATu) UAT og) 一 者 具有 相 问 的 基数 性 ， 所 以 它们 相等 ， 即 


A(T) = AP) UAL 9) (4.8.6) 


另外 一 方面 , & 
x=v|al; EECmxn Re R”? 


是 X 的 QR 分 解 , 将 此 式 代 入 式 (4.8.4)， 并 予以 重 排 ， 便 得 到 


Tu Ti] [BR _ [R] p 
Ta Tal lo] lo 


中 


Tu T 
UHAU = [ 11 z| 
Ta Te 


利用 R 的 非 奇 异性 以 及 等 式 TLR = 0, TR = RB, 可 以 得 出 结论 : Tu = 0 和 
和 {Ti1) =A(B). MBs (4.8.6) 有 AA) = A(T) = ATu) UAT 2). 综合 这 两 个 结论 即 得 
A(T 11) = MA) NAB). L] 

Schur F 1909 年 提出 的 矩阵 分 解 osl 是 一 种 典型 的 西 相似 变换 , 而 且 利 用 引 理 4.8.1 


可 以 证 明 Schur 分 解 的 下 述 性 质 。 
定理 4.8.3 (Schur 分 解 ) 车 4 e C"x"， 则 存在 一 个 本 矩阵 Ue OFX 使 得 
UHAU=T=D+N (4.8.7) 


SOP, D = diag( 和 1 和 2,… An); N 是 严格 上 三 角 矩 阵 , 即 ny =0,Vi > jo 
证 明 ”使 用 数学 归纳 法 。 当 n = 1 时 ,定理 显然 成 立 。 假定 定理 对 n - 2 阶 成 立 。 
若 As = Xz (其 中 , z #0) 则 由 引 理 4.8.1 (SM B 为 标量 A) 知 ,存在 一 个 酉 矩阵 


D9AD 满足 


Har [A w] 1 
D av = |} Slit (4.8.8) 


1 n-1 
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由 数学 归纳 法 知 , TERE Ü 使 得 OCU 是 上 三 角 算 阵 , 因此 , # U = Odiag(1,0), 
则 UNAU 是 上 三 角 和 矩阵 。 a 

EU = (uy, uy,-- ,taj BEEP U 的 列 分 块 , 则 u; BO Schur 向 量 。 令 AU = UT 
两 边 的 列 向 量 相等 ， 由 式 (4.8.7) 即 可 看 到 Schur 向 量 满足 关系 式 


kod 


Au, = Ayu, + Pongu, k=1,2, 用 (4.8.9) 
?1 
由 此 得 出 结论 : 子 空间 
Sp = Span{uy,Ug,--- , ux}, k=1,2,--+,n (4.8.10) 
是 不 变 的 。 
假定 已 知 A < C"x” 和 一 个 酉 矩阵 Uo E C"x"。 和 矩阵 变换 
To = US AU, 
for k = 1; 2 
Tk-1 = OLR, (QR 分 解 ) 
T, = RU, 
end 


称 为 QR 选 代 , 它 是 计算 Schur 分 解 最 有 效 的 方法 。 
BF T, = RU = UT (U, R, )U, = UFTU 所 以 由 归纳 法 知 


Tr = UU UTA U UR) (4.8.11) 


此 ,每 一 个 TT 与 A RARR. RRB. T, VE READ LOAM. BD, 
式 (4.8.11) JL RHE “UO” AERE A 的 Schur 分 解 。 
除了 式 (4.8.2) 的 QR EM. DAL RAGE — RRRA EXE 


等 , 对 此 有 兴趣 的 读者 可 参阅 文献 [184, pp.351~357]。 
定理 4.8.4 (X Schur 分 解 ) Ë 4 e R”, WEE—EZEE Q e ROX" 使 得 


Rus Ry Rin 
QTAQ= | - Ra i Pon (4.8.12) 
O O > Rum 


EH, Ry ERR SEEM 1 x 1 矩阵 或 2 x 2 矩阵 。 


GEAR 见 文 献 [184]。 
一 日 实 值 Schur 分 解 QTAQ =T 计算 出 来 后 ， 即 可 求 出 对 应 的 特征 向 量 。 


令 gO e Cn 是 给 定 的 向 量 , 具有 单位 2 范 数 ， 并 假定 A- p e R FRR. F 
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矩阵 的 蛮 换 与 分 解 


面 的 算法 称 作 逆 迁 代 (inverse iteration): 
for 天 一 2 
求解 (4 — pz ® = gD 
a = 2/2 lo 
A = [qh Ag® 
end 


BR HURRAY (4 — uD RRA 


逆 选 代 可 以 和 QR 算法 一 起 使 用 ,以 求 出 特征 值 和 相应 的 特征 向 二 : 


(1) 计算 Hessenberg 分 解 UE AU, = H; 
(2) 对 H 应 用 QR 选 代 ， 


(3) 设 经 过 QR 迭代 已 计算 出 特征 值 和 , 令 p =A. 并 应 用 逆 迁 代 产 各 


的 向 量 z; 
(4) 计算 w= Uoz, BEE 4 与 特征 值 和 对 应 的 特征 向 量 uo 
对 于 实 对 称 和 矩阵， 有 下 面 的 对 称 实 Schur 分 解 。 


EWE Hz pz 


定理 4.8.5 (对 称 实 Schur 分 解 ) Æ 4 是 一 个 实 的 n x n 对 称 撼 阵 ， 则 存在 一 个 实 


的 开交 矩阵 @ 满足 


QAQ = diag(A1, Az,** , An) 


证 明 令 QTAQ =T 是 矩阵 A 的 实 值 Schur 分 解 。 BT 也 是 对 称 的 ， 所 以 下 
必定 是 1 x 1 矩阵 和 2 x 2 矩阵 的 直 和 。 然 而 , 容易 验证 , 2 x 2 对 称 矩 阵 不 可 能 有 复 值 的 


特征 值 , WT 在 其 对 角 线 上 不 可 能 有 2 x 2 FIRER. 


求实 对 称 矩阵 的 特征 值 的 实际 算法 常 采用 对 称 QR 分 解 ， 详 见 下 节 。 


4.9 三 对 角 化 分 解 


4.8 THRUSH QR 分 解 是 针对 一 般 和 矩阵 的 。 下 面 我 们 将 会 看 到 , 对 称 算 阵 的 QR 分 解 
能 够 进一步 简化 。 简 化 的 基本 思想 是 先 将 对 称 矩 阵 二 对 角 化 ， 然 后 再 对 三 对 角 和 矩阵 进行 


对 角 化 。 
1. Householder 三 对 角 化 分 解 
假定 Householder 矩阵 H, Hpo Hp 已 经 确定 , 并 已 使 得 


Ag = (Hy Hy Hp)" A(H, Hey) 


(4.9.1) 
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PROPER: B ERARE WE, $ AL, 是 一 个 (n — k) x (n — k) Householder 矩阵 ， 
它 使 得 A, Byy Æ (n-k)x1 hi ei 的 其 个 倍数 , 并 使 得 营 H, = diagr Ap) 则 年 阵 
By, By O k-1 
A, = HEA y= 区 Bry Ba Hy, | 1 (4.9.2) 
O HiBs HrBslel nk 

k-1 1 n-k 


ELAH kx k SRE IER OR, E k= n—2, 则 (H H Hna) AHH 
Ay.) =T ESHA. + A, 具有 形式 


- 2 _ 
A,=I- pipe? of¢veR (4.9.3) 
注意 , 若 
2 pv 
P= Try Bas w=p- Tp? 
则 
ABH, = Bas — vw? — wet (4.9.4) 


以 上 分 析 表 明 , 若 选择 = H Ho Heo KP, H, = diag, A) HA, 由 
st (4.9.3) 确定 , 则 工 = ATA 为 三 对 角 和 矩阵。 
2， 对 称 QR 分 解 
令 人 感 兴趣 的 是 ， 当 使 用 一 种 单一 移 位 QR 分 解 时 ， 对称 的 三 对 角 带 型 矩阵 的 结构 
可 以 保持 不 变 。 单一 移 位 QR 分 解 是 一 种 选 代 的 过 程 , 称 为 单一 移 位 QR 迭代。 应 用 于 
对 称 算 阵 的 单一 移 位 QR 类 代 如 下 : 
T=HTAH (THAD) 
for k=0,1,.…- 
确定 实 的 移 位 4; T -u= UR (QR 分 解 ); T= RU + wl; 


end 
单一 移 位 QR 选 代 的 关键 是 移 位 参数 y 的 选择 。 记 
a bh 0 o 
b ag cse 0 0 
T=|: : o 
0 0 o ana Oya 
0 0 bai Oy 


BR, 移 位 参数 可 以 选取 4 = ano 但是, 存在 一 种 更 有 效 的 选择 , 即 选 择 4 为 2 x 2 矩阵 


T(n-1inn—lin)= (rt al 


im 一 1 


250 第 4 章 矩阵 的 变换 与 分 解 


的 特征 值 。 利 用 特征 信 的 定义 知 ,A 由 


Qn-1—- Bh bn- 
det(T(n —1:n,n—1:n)— pkg) = | "1 1] =0 
(rt , pant) | eo, 


决定 , 由 此 得 到 
H= a, + d —sgn(d)y/d? + b2_, (4.9.5) 

其 中 ,qd = (an1 — an)/2 sgn 为 符号 函数 。 式 (4.9.5) 给 出 的 产值 由 Wilkinson (4791 提 
出 , BR Wilkinson Bir. “HERMAN, y 一 oa。 Wilkinson 还 证 明了 , 无 论 是 选择 
B= an 还 是 式 (4.9.5) 作 移 位 参数 ,单一 移 位 QR 和 迭代 都 古 三 次 方 收敛 的 。 但 是 ,经 验 表 
明 , 式 (4.9.5) 的 选择 更 好 些 。 下 面 契 具有 Wilkinson 移 位 的 对 称 QR 和 迭代 算法 L189。 

算法 4.9.1 给 定 一 个 未 简化 的 对 称 三 对 角 和 矩阵 了 e RO", 下 面 的 算法 计算 ZTTZ， 
其 中 ,ZT(T - wl) BES AE, p Æ TANA 2 x 2 子 和 矩阵 的 特征 值 (接近 tan) 而 
Z=G,---G,_1 是 Givens 旋转 之 积 。 

d= (tin 1 tan)/2; 

B= ten Bint f (d+ sen(a) fe? +2, 1); 


eet By 
z= tay 
fork=1:n—-1 
fe, 8] = givens(z, z); 
T= FTO 
Ge =G(k,k +1,8); 
ifk<n-1 
T= tkt ki 
Z= ikiak 
end 
end 


上 述 算法 构成 了 对 称 QR 矩阵 分 解 算 法 的 基础 。 这 种 对 称 QR 矩阵 分 解 算法 是 计算 
对 称 矩 阵 的 Schur 分 解 的 标准 方法 n84 。 


4.10 ERRARE 
+ AM BERT nxn 矩阵 。 所 有 形式 取 A-AB (其 中 , à c C) KERNS (A, B) 


称 为 矩阵 束 或 乱 阵 对 。 和 矩阵 束 的 特征 值 记 作 AA, B) 定义 为 
MA, B) = {A € C : det(A — AB) = 0} 
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WF Ae MAB), ITH 
Av=)\Ba, 20 


W = 称 作 和 矩阵 来 4 一 AB 与 六 对 应 的 特征 向 量 。 矩阵 中 的 特征 值 和 特征 向 量 又 常常 分 别 
简称 为 广义 特征 值 和 广义 特征 向 量 。 
广义 特征 值 问 题 也 可 以 等 价 表述 为 : 寻找 两 个 无 病态 矩阵 QA Z 使 得 


4 一 已 14GF， B,=Q'BZ (4.10.1) 


均 为 标准 型 。 注 意 到 
Ag = ABz < 一 Ay =AB yy, æ= Zy 


这 表明 , (A,B) = X(A1,B1)。 具 有 相同 } CREEKA MERR A -AB 和 A, -AB, 
称 为 等 价 。 显然 , 等 价 的 条 件 是 存在 非 奇 异 的 Q 和 Z 使 得 式 (4.10.1) 成 立 。 

从 数值 计算 角度 看 ,由 Moler 与 Stewart 叙述 的 下 列 分 解 P3 是 有 吸引 方 的 。 

定理 4.10.1 (广义 Schur 分 解 ) # A,B e Cr"x5， 则 存在 西 矩 阵 Q 和 Z 使 得 
QPAZ = 了 和 QHBZ = 8 HA LOAM. MRM TR ki ty 和 sy。 一 者 都 等 
TS, WA, B) 有 无 穷 多 个 解 。 在 其 他 情况 下 


MA, B) = {ti/sa : Sa # 0} 


证 明令 {Bs} EKAT B 的 非 奇 异 矩 阵列 。 对 每 一 个 k 令 QAB O = Ry 
是 AB! 的 Schur 分 解 ， 并 令 Zi 为 一 酉 矩阵, 它 使 得 ZEB Q) = Sp 也 是 上 三 角 
和 矩阵。 于是， 
QEAZ, = RS,  QEBZ, = 5, 
也 都 是 上 三 角 和 矩阵 。 利 用 Bolzano-Weierstrass 定理 知 ， 有 界 的 序列 {(Q,,2,)} 有 一 个 
收敛 的 子 序列 lim(Q,, Z) = (Q, Z) AMEN, Q 和 2 MERER, 并且 QRAZ 和 
Q'BZ 都 是 上 三 角 的 。 有 关 AA, B) 的 结论 可 以 由 等 式 


det(A — AB) = det(QZ™) [ [a — Asie) 
i=l 

直接 得 出 。 L] 

wep, TRER (A,B), 有 以 上 分 解 。 

定理 4.10.2 (广义 实 Schur 分 解 ) 车 A,B € R”, WHEELER Q 和 2 使 得 
QTAZ 和 QTBZ WALT AEM. 

证 明 ”参见 文献 [428]。 

实现 计算 广义 特征 值 4 -AB 的 广义 实 Schur 分 解 可 在 文献 [184 中 和 找到。 
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本 章 小 结 


本 章 围 绕 矩 阵 的 变换 ,介绍 了 Householder 变换 、Givens 旋转 和 相似 变换 。 BRO 
的 主要 目的 是 通过 适当 的 变换 ， 将 矩阵 变 成 某 些 特殊 的 典范 形式 。 本 童 试 图 对 和 矩 阵 的 分 
解 进 行 分 类 ,并 着 重 介绍 了 以 下 矩阵 分 解 : 

(1) 对 角 化 分 解 ; 

(2) Cholesky 分 解 与 LU 分 解 ; 

(3) 三 角 - 对 角 化 分 解 ; 

(4) 三 对 角 化 分 解 ; 
(5) 矩阵 东 的 分 解 。 
此 外 ， 还 介绍 了 QR 分 解 在 参数 估计 中 的 应 用 。 


J & 
2 3 
4.1 已 知 数据 矩阵 xX = 1 2 
(1) 试用 Householder TRR x 的 QR 分 解 , 并 使 用 MATLAB 243% (Q,R]=ar(X) BE 
验 计算 的 结果 。 
(2) 用 Givens 旋转 求 X 的 QR 分 解 。 
4.2 已 知 线性 方程 组 “ 
2Z1 十 272 一 一 3 
z, + 2a, = 一 3 
a, +32, 一 10 


Z1 一 Z2 二 6 


(1) 利用 Householder 变换 求解 方程 组 。 


(2) 利用 Givens 旋转 求解 方程 组 。 
4.31207 —/S m x m 4ER A 最 多 使 用 m 一 1 次 Householder 变换 即 可 三 角 化 , A 


QA=R 
式 中 , R ALUM, 并 县 
Q = Qmm- QI 
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(1) 证 明 
det(A) = (—1)™-1 dot(R)} 


(2) 利用 Householder 变换 的 保 范 性 证 明 
Idet(A)! < 了 [lei 
ii 
式 中 ,ai 是 矩阵 A 的 第 i 列 。 这 -结果 称 为 Hadanard 定理 。 

4.4 已 知 数据 矩阵 

11 1 

2 15 2 

3 3 5 


4 45 10 
试 连续 使 用 多 次 Householder 变换 将 该 息 阵 化 为 双 对 角 拢 阵 。 
4.5 已 知 线性 方程 组 


A= 


zı — 2%, — Xs = —1 
271 — 4% 十 273 = 1 
22, +23 =] 

a, + 5r 一 一 2 


试用 Gram-Schmidt 正 交 化 方法 计算 QR 分 解 , 并 求解 最 小 二 乘 问题 。 
4.6 计算 下 列 矩 阵 的 LDLT 分 解 和 Cholesky 分 解 : 


9 3 -7 7 4 -3 
A= 34 tij, B= 46 3 
-7 1 10 -3 3 7 


4.7 使 用 Gram-Schmidt 正 交 化 方法 和 修正 Gram-Schmidt EREA AR KEE 


42 1 
20 1 
A=lo 0-1 
12 1 


的 QR 分 解 , 并 比较 两 种 方法 的 结果 。 
4.8 ”证明 一 个 nxn 矩阵 A 正定 , HERM A 存在 Cholesky 分 解 ， 即 对 某 个 可 道 
的 上 三 角 和 矩阵 R, 有 A = RR. 
4.9 4 Hermitian 矩阵 A JERE. 证 明 : 存在 一 个 三 角 和 矩阵 T, 使 得 4 = TT. 
4.10 利用 LU 分 解 , 求解 线性 方程 组 


21 士 3rz2 一 1 
2z1 十 ze =3 
3zl +424 +23 =0 
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4.11 计算 下 列 矩阵 的 满 秩 分 解 : 
123 
2 2 
A=|1 0 1], B= 
| 2 | f i 
4.12 证 明 : 2 AFE, 则 A 存在 LU 分 解 4 = LU, 且 的 对 角 元 素 为 正 数 。 
4.13 分别 利用 Householder 变换 和 Givens 旋转 求解 方程 Ax =b, 其 中 


42 1 
2 0 1 
A=|12 -1 
12 1 


4.14 利用 MATLAB 函数 [L, D] = ldlt(X) 计算 下 列 矩阵 的 LDLT 分 解 : 


15 7 10 
A=| 78 9 


， è= 


10 9 13 
4.15 利用 MATLAB 函数 [Q, R] = ar(A) RERE 
aid 
221 
A=] 01 
313 


的 QR AMR. AF b = [1,2,3,4]7, 试 求解 方程 Ax = b. 
4.16 证 明 M x M # Hermitian 正定 矩阵 A = [aiy] 的 Cholesky 分 解 4 = GGT 
可 以 利用 298, p-441) 
for j=1:M 


了 1 
Jij = (+s 一 > waf) 
k=1 


fori=jtil:M 


了 一 1 
1 . 
95 = g7 (Au ~ Le ete 
a k=l 


1/2 


end į 
end 了 
计算 。 

4.17 REE 
1 2 5 
A=/0 1 3 
0 0 3 

的 Jordan 标准 型 。 


4.18 证 明 : 若非 奇异 矩阵 4 的 LDMT 分 解 存在 , 则 这 一 分 解 是 唯一 的 。 
4.19 184] $ A=J+uul, 其 中 , Ac R?” 和 |wl = 1. SHEE A 的 Cholesky 


子 的 主 对 角 线 和 次 对 角 线 的 显 式 表达 式 。 
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最 优化 理论 主要 研究 一 个 函数 的 极 值 ; 极 大 值 或 极 小 值 。 通 常 ， 这 一 函数 是 复数 向 
量 或 给 阵 的 某 个 标量 值 函数 , 称 为 最 优化 问题 的 目标 函数 。 最 优化 理论 主要 讨论 : (1) 唯 
一 极 值 的 存在 性 条 件 ; (2) 求 极 值 的 解析 方法 或 数值 方法 ; (3) 目标 消 数 达到 其 极 信 时 独 
立 变 元 的 取 值 。 本 书 以 向 量 或 矩阵 作为 独立 变 元 的 讨论 对 象 。 


5.1 ”梯度 与 无 约束 最 优化 


最 简单 的 最 优化 问题 是 求 以 实数 = 作 变 元 的 实 标量 函数 f(z) 的 极 大 值 或 极 小 值 。 由 
TERAS f(z) 的 最 大 化 问题 与 负 目 标 函 数 -f(z) 的 最 小 化 等 价 ， 下 面 只 考虑 实 日 标 


函数 f(x) 的 最 小 化 , 即 
min f(x) (5.1.1) 


式 中 , 如 表示 实数 域 。 这 类 问题 称 为 无 约束 最 优化 问题 。 
5.1.1 目标 函数 的 极 小 点 
在 最 优化 问题 中 , 通常 希望 得 到 目标 函数 的 全 局 极 小 点 , 函数 f(z) 在 该 点 取 最 小 值 。 
严格 的 数学 定义 如 下 。 
EM 51.181 点 z。 称 为 函数 f(z) 的 全 局 极 小 点 , Æ 
F(a.) S f(z), YreR (5.1.2) 


一 般 情况 下 , 全 局 极 小 点 很 难 求 得 , 因为 我 们 知道 f(z) 的 信息 往往 有 限 ,并 县 比较 
一 个 函数 在 实数 域 的 所 有 取 值 是 一 件 不 切实 际 的 工作 。 因 此 ， 大 多 数 的 最 优化 算法 只 能 
求 出 局 部 极 小 点 ,函数 在 该 点 的 到 值 达到 函数 在 该 点 邻 域 所 有 取 值 的 最 小 值 。 

定义 5.1.3 给 定 一 个 点 ze R, 则 点 3 的 (VF) BREE |x — 8] < (5 > 0) 的 所 
有 点 z 的 集合 。 

上 述 定义 也 可 以 推广 为 向 量 点 w 的 邻 域 , 只 要 将 定义 中 的 标量 = 替换 为 向 量 z e RP, 
并 且 jz -z| 替换 为 zw 一 | 即 可 。 

定义 5.1.35 点 z。 称 为 函数 f(x) 的 局 部 极 小 点 ,车 存 在 某 个 标量 5 > 0, 使 得 
F(E) < f(a + Ax) 对 所 有 满足 0 < |Az| < 6 的 邻 域 Ar 均 成 立 。 

定义 5.1.4537 点 z。 称 为 函数 f(x) 的 严格 局 部 极 小 点 {strictly local minimizer), 
若 存 在 某 个 标量 5 > 0, 使 得 f(a.) < f(a. + Az) 对 所 有 满足 0 < |Az| < 6 的 邻 域 Az 均 
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成 立 。 

局 部 极 小 点 和 严格 局 部 极 小 点 有 了 时 也 分 别称 为 函数 f(z) 的 弱 局 部 极 小 点 (weak local 
minimizer) 利 强 局 部 极 小 点 (strong local minimizer). 

在 实际 应 用 中 ， 比 较 一 个 日 标 函 数 f(z) 在 某 点 及 其 邻 域 的 所 有 取 值 仍然 显得 很 麻 
Whe SEK, PG BLE) Taylor 级 数 展开 为 解决 这 个 问题 提供 了 一 种 简单 的 方法 。 

如 果 函 数 f(z) 具有 连续 的 二 阶 导数 , 那么 在 x 的 一 个 很 小 的 邻 域 Az 内 , 就 可 以 几 
Taylor 级 数 展开 


f(a + Az) = Flz)+P(z)Az+ OCON +o (5.1.3) 


作为 函数 f(s+ An) 的 逼近 。 式 中 ,Prfz) = LO) 和 ra = TO paana 710) 
的 一 阶 和 一 阶 导数 。 直 于 Az 很 小 , 式 中 ， 忽 藤 了 二 次 项 (Ax)? 和 更 高 阶 的 项 。 

首先 , 将 Ac 缩小 为 一 个 非常 小 的 区 域 , 此 时 可 使 用 f(e + Ax) = Flz)+F(z)Az E 
MBM (e+ Ar) WE f(x) > 0, 则 f(z) < f(z 十 Azx) 只 有 对 Ar > 0 成立。 反之 ， 若 
f'(z) <0, 则 f(x) < f(z + Ar) 只 有 对 Ar < 0 成立。 显然 ,这 与 定义 5.1.2 相 矛 盾 。 A - 
此 , 唯一 合理 的 选择 是 令 F(z) = 

满足 f(x) = 0 的 点 r 称 为 函数 f(a) 的 平稳 点 (stationary point), 它 有 可 能 是 极 小 
{ 值 ) 点 、 极 大 ( 值 ) 点 或 拐点 。 因此 , 平稳 点 只 是 日 标 函 数 的 候选 极 值 点 。 

为 了 进一步 确定 极 小 点 , 华 一 个 稍 大 一 - 些 的 区 域 Az 内 考虑 函数 f(z + As) 的 取 值 。 
由 于 f(z + Az) = f(z) + EAr), BRE 1"(z) > 0, 则 一 定 有 f(z) < f(z + Az) 对 
所 有 满足 0 < |Az| <6 的 Ar RE. 因此 , 如 果 函 数 f(z) 龙 连 续 二 阶 可 微分 的 , RAR 
数 的 局 部 极 小 点 最 简单 的 方法 是 联合 求解 


g Zo >0 (6.1.4) 


ra= Ho -0 和 J"(z)= 


车 没有 第 二 个 方程 ， 则 第 一 个 方程 的 解 只 是 平稳 点 。 同 时 满足 第 一 和 第 二 个 方程 的 解 x 
给 出 目标 函数 的 局 部 极 小 点 。 ER, 式 (5.1.4) 只 大 目标 函数 皮 局 部 极 小 点 的 充分 条 件 ， 


而 不 是 必要 条 件 。 
顺便 指出 , 求 函 数 f(z) 的 局 部 极 大 点 最 简单 的 方法 是 联合 求解 


Eto ) 


<0 


fil) = YE =0 和 jn 人 = 


类 似 地 , 这 两 个 方程 只 是 目标 函数 取 局 部 极 大 点 的 充分 条 件 ， 而 非 必要 条 件 。 

由 于 函数 f(z) 在 某 点 r, 的 一 阶 导数 e)a, RATARA ZAREE, Hr 
FA f(a) ABM f(z) 的 梯度 函数 ，f"'(z,) 称 为 函数 f(z) 在 点 z* 的 梯度 值 。 

令 f(z) 为 实 值 沙 数 , 则 有 以 下 定义 : 

(1) BA f(z) 称 为 凸 函数 , 车 对 于 任意 选择 的 点 zk: 和 za 及 标量 "地 0, 函数 满足 


lor + (1—a)tg) < af (21) + (1— a)f (z2) 6.1.5) 
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(2) 函数 f(z) AARNA, BA TERRENA rz, 和 z 及 标量 a £0, AM 
满足 
flax, + (1 ~ a)r2) < af(2,) + (1 — a) fle) (5.1.6) 
(8) BAL Fo) 称 为 (严格 ) 四 函数 , AF ~Ffz) 为 (严格 ) 四 省 数 。 
下 面 的 定理 表明 ， 对 于 凸 的 目标 因数 ,局 部 根 小 点 直接 给 出 全 局 极 小 点 。 
定理 5.1.1 NRA f(z) 的 任何 局 部 极 小 点 x。 都 是 该 函数 的 一 个 全 局 极 小 点 。 车 
BAR se) 二 可 微分 的 , 则 满足 LE) = 0 的 平稳 点 z. 是 F(z) 的 一 个 全 局 极 小 点 。 
TEMS 假定 x 起 局 部 极 小 让， 但 不 十 一 个 全 局 极 小 点 。 于 是 ， 可 以 求 出 一 点 
ze RW f(z) < flee 考虑 从 ze 到 z 的 线段 上 的 点 z W 


z=Az+ (Ar, AE (0,1] (5.1.7) 


HEARNE, 有 
f(a) & Af(2) + 1A) Flas) < flee) 6.1.8) 


即 fae) 不 是 局 部 极 小 点 , 与 候 设 矛盾 。 因 此 ， 局 部 极 小 点 ae 必定 是 一 个 全 局 慨 小 点 

为 了 证 明定 理 的 第 二 部 分 , 令 满足 SS) = 0 的 平稳 点 z 不 是 一 个 全 局 概 小 点 ， 天 
按照 上 述 方法 选择 点 ze TE ARE, 有 
HD) a-a) 


Vee- a) = HE 


= Silos + A(z — zla 
= ig, FE tAE — 20) Ale) 


和 一 :0 十 
< tim O tU- ASE) = flea) 
和 一 0+ 入 


= f@)— fla) 


<0 


因此 , 梯度 Vile.) 40, 即 zx。 不 是 平稳 点 ， 与 假设 条 件 和 矛盾。 a 

将 定义 5.13 和 定义 5.1.4 MLE, TUAINE ee ESE ARAR f(x) 
的 极 小 点 的 定义 如 下 。 

定义 5.159871 Ao, 称 为 消 数 f(z) 的 严格 局 部 极 小 点 ， 若 存在 一 个 标量 5 > 0, 
使 得 Fla.) < fle. + Aa) 对 满足 0< 1Azl < 6 的 所 有 Ar 均 成 立 。 

FEM 5.1.69) A e, 称 为 函数 f(z) 的 { 弱 ) 局 部 极 小 点 ， 若 存在 某 个 标量 > 0, 
使 得 F(a.) < f(a. + Ax) 对 满足 0< Asl] < i 的 所 有 Ar 均 成 并 。 

EEN 5.1.5 对 5 = oo 成 立 , 则 称 点 s. 是 函数 f(a) 的 唯一 全 局 极 小 点 。 若 对 & = co, 
只 是 定义 5.1.6 RY, 则 称 点 z* 为 函数 f(z) 的 全 局 极 小 点 。 
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5.1.2 ” 实 值 函数 相对 于 实 向 量 的 梯度 
相对 于 n x 1 向 量 x 的 梯度 算 子 记 作 Va 定义 为 
«fo a a_a 
因此 , 以 nx 1 实 向 量 z 为 变 元 的 实 标量 函数 f(z) 相对 于 e 的 梯度 为 一 n x 1 列 向 量 ， 
定义 为 


as [Of (2) Of (x) are)] _ af(e) 
Vafo) = [ On,’ ax, ag | ~ Oe (6.1.10) 
梯度 方向 的 负 方 向 称 为 变 元 x 的 梯度 流 (gradient flow), 记 作 
è= -V f(z) (5.1.11) 
从 梯度 的 定义 式 可 以 看 出 : 


(1) 一 个 以 向 量 为 变 元 的 标量 活 数 的 梯度 为 一 向 时 。 
的 袖 度 的 每 个 分 量 给 出 了 标量 卫 数 在 该 分 量 方 向 上 的 变化 率 ， . 
梯度 向 量 最 重要 的 性 质 之 一 是 , 它 指出 了 当 变 元 增 大 时 汉 数 / 的 最 大 增 大 率 。 相反 ， 
梯度 的 负 值 简称 负 梯度 ) 指出 了 当 变 元 增 大 时 汪 数 / 的 最 大 减 小 率 。 根据 这 样 一 种 性 
B BTE Ri AMALIE, EAE TRAM 
美 似 地 , SABLE f(z) 相对 于 1 xon 行 向 量 5 的 梯度 为 1 x n 行 向 量 , 定义 为 
of Ce) ges [ƏL OF), BRE) _ 
EG) a [O FE, PAE -wy (112) 
m TABES Fle) = (E) hE) fale) 相对 于 n 维 实 向 量 x 的 梯度 为 一 
nx m ERE, 定义 为 


ahl) fre) | fm 人 
Gn, ELA On, 
Phl) Ofle) | Afm(z) 
OF (©) aet | Br, ay az | =V,f (2) (5.1.13) 
oz : : : 
ahlie) hle) ral@) 
én, az, Or, J 
下 面 看 向 量 函 数 的 两 个 特例 。 


车 m x 1 向 量 函 数 f(z) = y = Bite Ym] 其 中 yya ,Yn 是 向 量 的 标量 
函数 。 一 阶梯 度 


ðn n y] 
82, Ax, En 

ay |22 om ... ĉr 

Y 

wre Be, za Bn (5.1.14) 
Yn ym Dym 
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是 一 个 mm x n FEB, RATER y = fy1,y2… Ym] 的 Jacobi 矩阵 。 


车 fle) = [zhza En] 
2T =I (5.1.15) 


RP, 了 为 单位 矩阵 。 AL — MERA HI NEAR 
例 5.1.1 E AR y 均 与 向 量 z ER, M 


例 5.1.2 注意 到 gT4z = (ATy, æ) = (x, Ay) = zT4T3， 故 


ByT4z ”8zT47TV 工 
ðr Oz Ay 


5.1.3 由 于 


non 
a Ag = SY Agns; 


#1 J51 


TREBE PAT Mi e MAEN 


OrzTAz aot = z 
BE] i Eben Da YA 


ðs 各 
即 有 + 
Or Aw =Agr+ A's 

Br 
特别 地 , 车 4 AMMA, 则 

ozT4z 

= 2Ax 
Oz 


SENDA ES - MAE IAR ADER, RANKEAR f(z) 相对 于 列 向 所 o 的 下 
述 几 个 常用 的 梯度 公开 88.2001 

CD 着 fa) =e WRM muse SE = 0。 

(2) 线性 法 则 : 车 f(a) 和 g(x) 分 别 是 向 量 = HREAN, c 和 cs 为 实 常数 , 则 


OOE 6110) 
(3) 乘积 法 则 ， 
O 着 f(z) 和 gla) 都 是 向 量 = RERS W 

BEE) yia HE 5 p(s) 9) 6117) 
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@ E fle), g(x) 和 Ala) RERE z HRA, 则 


PHONE) ono) SE) + poria B+ ans) 
on om 
(4) 商法 则 : 4 g(a) £0, 则 
Hae) A E 
Hae) — a [ate RP — 10) BE (6.1.19) 
(5) BREM: A yle) 是 > KRA N 
WE) _ Oye) FH) 
ae in Oy (5.1.20) 


ap, VO) 为 nxn Kul 
(6) Hnxl fate Ye 大 无 关 的 常数 向 量 ， 则 
date dela 
ðæ ™ on T 
(7) E nxi AE atj s 是 无 关 的 常数 向 量 ， 则 
daty(e) _ Jys) a, Oy? (za _ dy" (e) 


Ox On ba: On 


8) FAM y 均 与 向 量 = LK, 则 
dal Ay by Ag _ Aly 


ðr Y, ðr 
(9) 令 4 是 一 个 与 向 量 = 无 关 的 矩阵 ， 则 
azT4 dn Ar 
ð 7 A, oz 
Oat An 
7: 


= Ag+ A'e = (A+ Ax 


特别 地 , 2 A 为 对 称 矩阵 , 则 有 一 二 一 一 24mz。 
(10) 车 A 是 与 向 量 e 无关 , 而 y(z) 与 向 量 z 的 元 素 有 关 , 则 


alua Aye) _ PENT A + AT ya) 


(11) # 4 是 一 个 与 向 基 x 无 关 的 矩阵 ,而 y(z) 和 ele) 是 与 向 量 e 的 元 素 有 关 的 
列 向 量 , 则 


ANTARE) A g(a) 4 RD tye) 
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(12) $e nxi 向量, a 为 m x1 常数 向 量 , AM BAMA mxn H mxm A 
ZOER, H B HIRERE, W 


O(a — Az)" Bia — As) _ 


= T 一 
3z 2ATB(a — Az) 


5.1.3 KEARAH 


在 最 优化 问题 中 , 需要 最 优化 的 对 象 往往 有 可 能 是 某 个 加 权 和 矩阵 。 因此 , 有 必要 分 析 
实 值 落 数 相对 于 矩阵 变 元 的 梯度 。 

KERR f(A) 相对 于 m x n KERE 4 的 梯度 为 一 m x n SEE, 简称 梯度 和 矩阵, 定 
MA 


afta) ofA) IKA) 
BA BAis dA, 
BKA) IA) AHA) 
PNA) ef | Ga, OA OA, | = Vaf(A) (6.1.21) 
OA 四 H i 
af(A) af， af 
Am Ama Am 


RP, A, 是 矩阵 的 元 素 。 
实 值 状 数 相对 于 和 矩阵 变 元 的 梯度 具有 以 下 性 质 2901。 
(1) 者 f(A)=c 为 常数 , 其 中 ， AA mxn HE, muse 名 BA Oraxne 
(2) 线性 法 则 : Æ f(A) 和 g(A) IIE A rere c, Me, 为 实 常数 , 则 


alef (A) + cg(A)] _ 8f(4) O9(A) 
a = gA TOA (5.1.22) 


(3) 乘积 法 则 : E F(A), (A) 和 n(A) 都 是 矩阵 A HIKEA W 


| 
AND — 9 aye J aya) (5.1.23) 


Sa -gaa RE + peana "Ss s129 
raga ZA 


(4) 商法 则 : 若 g(A) #0, 由 
BHAA) 1 FS- aye) (5.1.25) 


aA 
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(5) 链 式 法 则 ; 令 4 为 mx n SPE, Boy = f(A) 和 gl(y) 分 别 是 以 矩阵 A 和 标量 
y 为 变 元 的 实 值 函 数 ， 则 


EBD 
A dy OA (6.1.26) 


(6) HAE R™™ ce R™ ye R”, W 
ðsTAy r 


Ja T% (5.1.27) 
(7) Æ Ae RY” 非 奇异 , x eR, ye ROO, 则 
oe Ae =-AtTayTATT, 4T=(4-07 (5.1.28) 
(8) Æ Ae R” æy ene, 则 
aTa ay = AtzyT + ya™) (5.1.29) 
(9) # AER™ g y e RmY1, 则 
OT AY ={wy + ye™)A (5.1.30) 
(10) 指数 函数 的 梯度 
Spe 区 = æy" expla" Ay) (5.1.31) 


5.1.4 迹 函 数 的 梯度 矩阵 


有 趣 的 是 , 二 次 型 日 标 函 数 可 以 利用 矩阵 的 迹 如 以 重 写 。 因为 一 标量 可 视 为 1 x 1 E 
阵 , 所 以 -次 型 日 标 函 数 的 迹 直 接 等 于 图 数 本 身 , BD f(w) = zT4z = tr(zT4z)。 利用 迹 
的 性 质 , 又 可 将 目标 少数 进一步 表示 成 


f(x) =a" Ax = tr(a™ Ax) = tr Are ) 


DE, CAA EIRE aT An 等 于 其 核算 阵 4 和 向 量 外 积 nz HRM (Aee). 
下 面 举 几 个 例子 说 明 如 何 求 迹 的 样 度 。 
例 5.1.4 HF mn JERE A, MF (A) = So Ag, ashi SA) a 6,5) RRA 


a1 


aa] ae _ fi, jae 
fe aTa amS 0, j#0 


即 有 Bet) =I, 
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例 5.1.5 ZARAR f(A) = tr(AB), 其 中 ， AM BAMA mxn AI nx 
m KE. HA, ERRETES [AB]; = Y huby BUBB FARM tr(AB) = 
=1 


Vdub THE, Bot AB) 吓 -mx n E KERN 


Ads 
dtr(AB ð {<< 
| oA oe (SX ub) = 2a 


Ms 


P 


即 有 
MAB) = Vatr( AB) = BT 
又 由 于 tr(BA) = tr(AB), 故 


atr(4B) _ tr(BA) 
Ey ðA 


例 5.1.6 HT tr(zyT) = tr(ysT) = Ty, BH 


= BT 


atr(æyT) _ Atr(ya™) _ 
De oz 
通过 以 上 几 个 例子 , 并 综合 文献 [296]，[239,，p.491]，[290] 的 有 关 结 果 ， 可 得 到 关于 
迹 的 梯度 矩阵 的 一 些 常用 公式 。 
(1) 单个 矩阵 的 迹 的 梯度 矩阵 
O 全 是 和 xm ERR, 有 


atr(W) 
Fa = Im (5.1.32) 
© mx mE W 可 逆 时 , 有 
Btr(W _ 
r= 一 (DT (5.1.33) 
图 对 于 两 个 向 量 的 外 积 , 有 
Ətr(æyT) _ Ətr(yæT) _ 
a aan sy (5.1.34) 
(2) 两 个 矩阵 乘积 的 迹 的 梯度 
O #wWere Aer, 则 
Otr(WA)  Otr(AW) _ 
Sw = ew AT (5.1.35) 


特别 地 ,有 Pa 


dtr(WA) Otr(AW) _ _ yeh 
PEWA = SAW) 4+ AT — diag(4)， WURPIERE) (8.1.30) 


264 


第 5 章 梯度 分 析 与 最 优化 


回 当 WeR""Ae Rmxn 时, 有 


Btr(WrT4) _ ðtr( AWT) 
ow 时 


(5.1.37) 


图 HFW eR™®”, 有 


Atr(WWT) _ atr(WTW) _ 


5.1.38 
W BW 2W { ) 


@ ewer, m 


atr(W?) _ ðt WW) T 
sW 一 5.1.39) 
aw ow W (51.39) 


© EW, AeR™™, FA w 非 奇 异 , 则 


saw = _(W-1AW-1)r (5.1.40) 


(3) 三 个 矩阵 乘积 的 迹 的 梯度 
D # Wer Ac R™™, W 


Btr(WTAW) 
ow 


=(A+AT)W (5.1.41) 


r 
特别 地 ， 当 4 uae, 有 CEW AW -24W。 


@ $ WeR™ Ae Rm, W 


on(waw") _ | 5.1.42 
oy = WIA+ AT) (5.1.42) 


T 
特别 地 ， 当 4 aaien, PROF AWD owa, 


图 4W,A,BeR™™, 并 且 W FARN, 有 


Otr(AW-!B) 
ow 


=—-(W-'BAW"*)T (5.1.43) 


(4) 四 个 年 阵 乘积 的 迹 的 梯度 
团丁 < 和 4ERxm 有 时 : 


ötr(AWWTAT) 
ow 


=2AT AW (5.1.44) 


@ Wer? Fl Ac RP” Bt, A 


8tr(AWTWA?) 
aw 


=2WATA (5.1.45) 
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@ We R™” Ac RPX™ Be RM? hj, H 


atr(AWW7B) T pT 
Our(AWW-B) _ 5.1.46 
5 (BA+ ATBT)W ( ) 
D W e RP, Ac RX, Be RPO WH, 4 
T 
PAW WB) L W(BA + A'B") (5.1.47) 


® WER ACR BeR™™ 时 ,有 


T T 7 
SWA W_ B) _ pwa+B wat (5.1.48) 
aw 
© Wer” fl A,B e FRY" 时 ,有 
eer aye) = BTWTAT + ATWTBT (5.1.49) 


下 面 的 典型 例子 说 明 ， 期 望 值 目标 郑 数 转换 成 矩阵 的 迹 之 后 ， 可 更 方便 求解 最 优化 


问题 。 

例 5.1.7 523 在 移动 通信 的 一 个 码 分 多 址 (CDMA) 系统 中 ， 共 有 K TAL Sia 
信 , 通信 基站 分 配给 第 个 用 户 的 扩 频 波形 向 量 为 s(t) BE A, ÆW bE SR, 
而 b, 为 用 户 k 在 第 t 个 码 元 间隔 ( 即 上 = er, J, T 表示 码 元 间 治 ) 发 射 的 比特 信号 
{+1)。 经 过 解 扩 频 后 ， 基 站 的 接收 信和 号 向 量 由 


y= RAbin 


给 出 , RÈP, A = diag(4 Ans Ag), b = 9, 如 ,… ,bg]T， 并 共用 户 扩 频 波形 白 相 关 
矩阵 R HITE ri 定义 为 
T 
ry =f s(a; (tdt 
现在 希望 设计 一 个 多 用 户 检测 器 M = [m mo,… mye] 其 中 , mak ER k DHP RE 
测 器 , 即使 用 


bi = sen(mey) 
作为 用 户 k 发 射 字符 的 估计 。 这 一 准则 称 为 最 小 均 方 误差 (minimum mean square er- 
ror: MMSE) 准则 。 将 K 个 用 户 的 最 优 检测 器 综合 起 来 考虑 , 则 设计 ML ARAE 
M 的 目标 函数 为 
J(M) = BP{lb ~ Myl} 


使 其 最 小 化 , 即 可 获得 最 优 的 言 多 用 户 检测 器 Me 
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利用 算 阵 的 迹 的 性 质 , 有 
J(M) = E{(b — My)" (b — My)} 
= E{tr((6— My)(6 - My)")} 
= tr (E{(b - My)(b- My)™}) 
= tr (cor({b — My)) 
SCH, cor(b— My) = E{(b— My)(b— My)T} NAA. EIERE DE n 与 用 
户 信 和 号 统计 不 相关 的 条 件 下 , 可 以 证 明白 相关 算 阵 为 
cor(b— My) = I+ M(RA?R+ o R)M" — ARM" - MRA 
RF, o? AEA MAN 2. TE ARAR NEE 


J(M) = tr (cor(b — My)) 
= te(Z) + tr (M(RAR 十 oR)MT) —tr(ARM") — tr(MRA) 


利用 迹 函 数 的 梯度 公式 
Br(MTB) Or(BMT) _ B 
OM æM | 
dtr(MB) _ bm(BM) _ pr 
ðM 5 
atr(MDMT) _ 
aM = M(D+D") 
并 注意 到 D = RAR+ PR 为 对 称 矩 阵 (因为 五 为 对 称 和 矩阵 ，4 AAR), 易 知 
87(M) 


一 一 2 2 再 ) 
Sar = 2M(RAPR + oR) -2AR 


SHOTS, 即 得 M(RAR+0R)= AR. € R 非 奇异 , 立即 得 到 最 优 言 多 用 户 检测 
BA 

M = A(RA? + 07I)7! 
5.1.5 ”行列 式 的 梯度 矩阵 


和 和 矩阵 的 迹 一 样 , 矩阵 的 行列 式 也 是 以 矩阵 为 变 元 的 实 标量 函数 ， 故 存在 行列 式 相 
对 于 实 和 矩阵 的 梯度 。 下 面 介 绍 行列 式 的 梯度 定义 Kt!1,Pp.336~337]。 
SHE W 的 元 素 wy MAB. BR, MF 


OW E (5.1.50) 


SUP, Ey 是 一 个 除 (ij) 元 素 为 1 外 , 其 余 元 素 均 为 0 MERE, 即 Ey = eel, 其 中 , e; 
为 单位 向 量 ,其 第 i 个 元 素 为 1, 其 余 元 素 全 部 为 0。 
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类 似 地 , 车 矩阵 WA TREE, M 


ow 
Bw, ™ Ey + By — 6 By (5.1.51) 


AH, 6 =0 (i #5) RH 5, =1 (i= j) 
E nxn 矩阵 W 的 行列 式 的 定义 |W] = > w,jcof(Wig) 对 所 有 = 1,2,… ,n 成 


X, 其中， f(W) EER wy 的 余子 式 。 
与 式 (5.1.50) 相对 应 , 有 


awi =cof(W,,), 现 的 元 素 相互 独立 (5.1.52) 
ij 


与 式 (5.1.51) 对 应 的 行列 式 偏 导 结果 为 
Bon = cof(W,,) + cof(W,,) — biycof (Wy) 
= (1-6 ,)cof(W,;) + cof(W;,), W HIRR RE (5.1.53) 


iG 二 1,2,… ,n, 并 将 式 (6.1.52) 汇集 成 矩阵 形式 ,， 即 得 行列 式 |W] 关于 矩阵 W 的 
偏 导 ( 即 梯度 ) 为 


=(W#) = WW), W 的 元 素 相 互 独立 (5.1.54) 


p, W 表示 矩阵 W 的 伴随 算 阵 。 在 得 到 上 式 的 过 程 中 ， 使 用 了 逆 和 矩阵 与 行列 式 之 
间 的 关系 式 W-! = W/W]. 
类 似 地 , 由 式 (5.1.53) 又 有 


ow] _ Da 
ow = 2w* — diag(W*) 
= |W] [2W-?~diag(W—')], WATER AERE (6.1.55) 
Sb, Mt TARA REM W, 有 


2 _ 2 aW] 
aw EW] = WwW ow (5.1.56) 


代入 式 (5.1.54) 和 式 (5.1.55) 的 结果 , 式 (5.1.56) 又 可 分 别 写作 
Ap bs 二 (W-1)?， W 的 元 素 相互 独立 (6.1.57) 
=2W1—diag(W*), 到 为 对 称 矩 阵 (5.1.58} 


矩阵 的 行列 式 的 梯度 (矩阵 ) 具有 以 下 性质 474112061 2001 , 
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(2) 单个 非 奇异 矩阵 的 行列 式 的 梯度 


AEL -IO = (we 

ae (5.1.59) 
一 —1\T 

= ty 


式 中 ,W# AERE 4 的 伴随 矩阵 。 
(2) 行列 式 对 数 的 梯度 


bewi = aR Ga WIS 
= (W- DT， Wh RAT (5.1.60) 


=2Wo)—diag(W*), Æ W 为 对 称 和 矩阵 


Ww 


(3) 两 个 矩阵 乘积 的 行列 式 的 梯度 


aww" =AWWT(WWDW, rank(Waxn) =m 

ow Ww =2AWTWIW(WTW), rank(Wiaxn) =n (5.1.61) 
awi SAWE 07， rank(W mxm) =m 

(4) 三 个 矩阵 乘积 的 行列 式 的 梯度 
AAW Bl IAWBIAT(BT™WT AT)-!BT 
awawi - -24W(WTAW)-!, |WTAW|>0 (6.162) 
awawi. | _ waw) wat +A) 
=°WAWT) WA, A HIRERE 


5.1.6 Hessian 矩阵 


SAM f(z) 相对 于 mx 1 实 向 量 xz 的 二 阶 仿 导 是 一 个 由 m 个 二 阶 偏 导 组 成 的 
矩阵 ( 称 为 Hessian ERE), 定义 为 


B2ffz) _ ə (5 2 (5.1.63) 


rôz" pol Oa 


或 者 简写 为 梯度 的 梯度 
V2f(z) = Ve(VaF(o) (5.1.64) 
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根据 定义 ,Hessian SPENE j 列 龙 梯度 LS) - 9, pe) 第 了 POMBE, oD 


f(s)] _ f(x) 
[sent ag 08,82, (5.4.68) 
或 写作 
[oy Of 6zf 
ðr ðr, Br ðt - ðr T, 
f ve oF 
2 ae 
Zro) = | 3z,ðr, dx,0r, an, 0x, (5.1.66) 
ef of af 
62,02, Ax,0L, Orn Ly, 


DAE, Hessian 矩阵 可 以 用 二 步 法 求 出 : 

O REEKS f(z) 关于 向 量变 元 = MAT Msn FLO), 

(2) RRE SLO) 相对 于 1 xm T aT 的 偏 导数 , EBISU ASHER Hessian 
矩阵 

根据 以 上 步骤 ,容易 得 到 Hessian MEPENT IIA. 

(1) 对 于 x1 常数 向 量 a, 有 


2, T. 
Foe = Onxn (6.1.67) 
(2) 4 A ten xn HERE, 则 
F 
Zerda =A+AT™ (5.1.68) 


{3) $s Anxi 向 量 , a 为 mx 1 常数 向 量 , AM BYWA mxn mx m A 
AGEM, H BERR, JU 
O(a — Az)’ Bia — Ax) 
dx0aT 
(4) 车 4 是 -一 个 与 向 是 z CANE, 而 y(z) 是 与 向 量 = 的 元 素 有 关 的 列 向 量 ， 
则 


=2ATBA (5.1.69) 


2 T al T ð 
Ply) Ayie) _ l=) (A +A”) ule) 4 


dxdxT . 
(esta +a 0%) aor [ve (E) 
6.1.70) 
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5.1.7 ”局 部 极 小 点 的 条 件 


根据 定义 确定 某 个 点 o, 十 否 为 目标 沙 数 的 局 部 极 小 点 , 需要 将 目标 销 数 在 该 点 的 取 
与 函数 在 该 点 邻 域 里 所 有 点 的 取 值 进行 比较 。 这 显然 是 不 实际 的 做 法 。 然 而 ， 当 目标 天 
数 f 光滑 时 , 却 存在 很 多 有 效 和 实际 的 方法 能 够 识别 一 个 点 古 否 为 局 部 极 小 点 。 特别 地 ， 
如 果 是 一 次 连续 可 微分 的 话 ， 直 接 通 过 检验 梯度 vef(z,) 和 Hessian ERE V2 f(a), 
即 可 判断 点 s, 基 代 为 局 部 极 小 点 (甚至 是 严格 局 部 极 小 点 )。 
# (Az)TAz 很 小 , 则 函数 f(x) 的 Taylor 级 数 展开 为 


f(z + Aa) = f(s) + (Ax)? Vif (a) + 5(Aa)"V2i(a)de (5.1.71) 
下 面 介 绍 判断 一 个 局 部 极 小 点 的 一 阶 条 件 和 二 阶 条 件 8371, 
定理 6.1.2 (一 阶 必要 条 件 ) Bo, 起 一 个 局 部 极 小 点 , 并 且 f(w) 在 点 x, 的 一 个 开 
AR Ae 里 是 连续 可 微分 的 , 则 Yef(e) = 0。 
TERA RRR Ax 足够 小 , 以 至 于 (Aw)? 可 以 忽略 。 此 时 , BR f(x) 的 Taylor 级 
数 展开 为 


f(s + Aw) = f(a) + (Az)™V,f(@) 
使 用 反 证 法 。 假设 Vof(z,) 关 0， 则 至 少 可 以 在 邻 域 内 找到 一 个 方向 As = -Vaf (2) 
使 得 
(AzjrveflzJ = -Vf <0 
从 而 有 
f(a, + Ae) = f(@,) + (Ae) Vo fe.) < f(e.) 
因此 ， Ro, 不 是 局 部 极 小 点 , 与 定理 的 假设 条 件 相 矛盾 。 这 就 是 说 , 假设 Vass.) £0 


不 能 成 立 。 E 
满足 一 阶 必要 条 件 Vaf (2) = 0 的 点 w, 称 为 平稳 点 。 
定理 5.1.3 (一 阶 必要 条 件 ) Er, 是 f(z) 的 局 部 极 小 点 , 并 且 VIE) 在 2, 的 开 


邻 域 Aa 内 连续 , 则 


Vaflz,)=0 和 V2f(z,)}>0 (5.1.72) 


RP, V2 f(x,) 20 表示 Hessian HH V2 f(@,} 半 正 定 。 
EAR ”由 定理 5.1.2 知 , 梯度 Vs。f(z,) = 0 故 


fle, + Aa) = f(w.) +(d2)"V2fl@)de (6.1.73) 


使 用 反 证 法 , $ V2 fe.) 不 是 半 正 定 的 , 则 存在 一 个 Ar, 使 得 (Aw)™V2 f(x, }Aa < 0. 

将 这 一 结果 代入 式 (5.1.73); 立即 有 f(x, + Me) < f(zw,)。 这 表明 , r, 不 是 局 部 极 小 点 ， 

与 定理 的 假设 条 件 相 矛盾 。 因此 , “V2f(z) 不 是 半 正 定 的 ”这 一 假设 不 能 成 立 。 a 
定理 5.1.4 (一 阶 充 分 条 件 ) 假设 V2f(z) 在 z, 的 开 邻 域内 连续 ， 并 且 


Vel (t.) =0, V2 f(#,) > 0 (6.1.74) 
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则 a, EK f(z) 的 严格 局 部 极 小 点 。 式 中 ，V2 f(x,) > 0 表示 Hessian WEE V2 了 (w,) 
正定 。 

证 明 由 梯度 Vefe) = 0 4, I (5.1.73) 仍然 成 立 。 又 由 于 假设 V2f(z,) LE, 
E (Az)TV2f(z)Azw > 0, 故 式 (5.1.73) 立即 给 出 结果 f(a, + Ar) > f(w,), Bla, Æ 
数 f(z) 的 严格 局 部 极 小 点 。 a 

应 当 注意 , 定理 5.13 中 的 二 阶 充 分 条 件 并 不 是 必要 条 件 : 有 的 点 2, 可 能 是 严格 局 
部 极 小 点 ， 但 是 在 该 点 的 Hessian 矩阵 却 不 是 正定 的 。 例 如， 观察 知 ， 点 = = 0 是 函数 
F(a) = (zTz)2 的 严格 局 部 极 小 点 , 但 是 Hessian 矩阵 

Bfe) @ 
dzdzT ”dzdzT 
在 严格 局 部 极 小 点 w = 0 HFE, 不 是 正定 矩阵 。 

定理 5.1.5 CAR Œ) 的 任何 局 部 极 小 点 五 都 是 该 函数 的 一 个 全 局 极 小 点 。 若 凸 
BM f(z) 是 可 微分 的 , 则 满足 Vaf) = 0 的 平稳 点 3% 是 f(z) 的 一 个 全 局 极 小 点 。 

证 明 与 定理 5.1.1 的 证 明 相 类 似 。 E 

例 5.1.8 BAK ARMM f(z) = 2TAzx,， HF, ARPA AEM. 4 
A 为 对 称 矩 阵 时 ， 容 易 求 得 该 目标 函数 的 梯度 为 Vsj(z) = 24z。 $ 2Ar = 0, 得 唯一 
的 稳定 点 w = 0。 进一步 地 ， 又 可 求 得 目标 钢 数 的 Hessian 矩阵 V2f(z) = 2A. HT 
A 已 知 十 正定 和 的， 政 Hessian EE z 的 任何 点 部 是 正定 的 。 根据 定理 5.1.4 知 , 原 
点 了 =0 是 目标 遂 数 的 严格 局 部 极 小 点 。 由 于 二 次 型 目标 函数 (e) = zT4z 是 严格 凸 
函数 ， 所 以 根据 定理 5.1.5 知 ， 这 个 局 部 极 小 点 w = 0 就 是 目标 函数 的 全 局 极 小 点 。 


(x72)? = 12zTz 


5.2 ”和 矩阵 微分 及 其 在 最 优化 中 的 应 用 


上 一 节 介绍 了 如 何 根据 定义 ， 求 实 值 函数 的 梯度 矩阵 以 及 Hessian ANE. UB, 
对 于 算 阵 的 行列 式 这 类 实 值 函数 , 按照 定义 求 其 梯度 矩阵 , 是 比较 麻烦 的 。 如 果 进 一 步 希 
望 求 出 行列 式 函 数 的 Hessian 矩阵 , 则 更 加 费事 。 不 难 想象 , 要 是 遇 到 和 矩 降 的 对 数 等 , 计 
算 梯 度 矩 阵 和 Hessian 矩阵 就 越发 复杂 那么 , 这 一 内 难 能 否 克服 呢 ? 答案 是 青 定 的 ， 央 
为 撼 阵 微分 为 标量 函数 、 向 量 函 数 和 矩阵 函数 的 梯度 矩阵 与 Hessian 矩阵 的 计算 , 提供 
了 非常 有 效 的 数学 工具 。 本 节 将 介绍 矩阵 微分 的 有 关 理 论 、 方 法 及 其 在 最 化 化 问题 中 的 
有 趣 应 用 [296] 。 


5.2.1 和 矩阵 微分 与 偏 导 


矩阵 微分 是 实 阔 数 微分 对 矩阵 函数 的 推 |。 在 微 积 分 中 , REAR p(c) 的 导数 W (e) 


= lim H+ DH) ge) (5.2.1) 


ci) u 


[A 
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它 又 可 等 价 写 作 
ole +u) = fc) + ugle) + rolu) (5.2.2) 
这 就 是 有 名 的 一 阶 Taylor AR. RP, ru) PARM ole) MIR, BFF 
lim rele) =0 (5.2.3) 


如 果 把 Al 分 别 想象 成 固定 点 和 增 量 , 则 函数 的 增 量 petu) ple) 由 两 部 分 构成 : 
与 导数 成 正比 的 分 量 ug (c) MORE” $k. HRA, WAR Sct uw} = gle) + ud'(c) 
越 准确 。 于 是 , 可 以 使 用 
deleu) = up'(e) (5.2.4) 
定义 函数 o 在 点 < 处 ( 增 量 为 u) 的 一 阶 微分 。 注意, 符号 lou) 强调 c WIE, 在 
该 点 存在 导数 p(o): TH u Æ c 处 的 增 基 。 

将 上 面 的 标量 推广 钊 向 量 ， 即 可 引出 向 量 押 数 的 微分 。 

定义 5.2.1 P96 P82 令 e 和 是 两 个 mx1l 向 量 , 其 中 , c 是 mx1 向 量 函数 f(e) 
的 向 量变 元 , 而 u R" 中 的 一 个 点 ,并 二 lul < 7。 车 存在 一 个 m x n SEE A, 它 与 
c 有 关 , 但 与 ut, FHS 


flet ww) = fle) + Alou + relu) (5.25) 


对 所 有 具有 lula <r Wax i SWE u 恒 成 立 ， 以 及 
m Te) _0 | (5.2.6) 


Yo [feliz 
WARE f 在 向 景点 c 是 可 微分 的 (differentiable), 称 m x n EE Al) ERR f HE 
的 一 阶 导数 , 并 称 m x 1 向 量 


df(c;u) = A(eju (5.2.7) 
是 了 在 e 的 一 阶 微分 向 量 。 
ER. 在 上 述 定义 以 及 以 后 的 叙述 中 , 应 将 符号 fle) 和 Ale) 当 作 一 个 整体 符号 看 
待 , 分 别 理解 为 以 向 量 e 作 变 元 的 向 量 函 数 和 只 与 向 量 c 有 关 的 矩阵 。 
现在 考虑 另外 一 个 向 量 点 e 十 tej， 其 中 ,，ej -ARR 7 个 元 素 为 1, HERRE 
为 零 的 nx 1 AR CES. 换言之 , 向 量 c+te; 与 c 仅 第 了 个 元 素 不 同 ， 
其 他 元 素 皆 相同 。 当 t 足够 小 时 ,极限 
Dfl) 到 lim bete file) 6.2.8) 
称 为 向 量 函数 了 的 第 个 元 素 (标量 ) 相对 村 向 量变 元 c 的 第 j 个 元 素 (标量 ) 的 偏 导 。 
根据 以 上 定义 , n 个 偏 导 (标量 ) 的 排列 [D1fi(e), Dofi(c),… ,Dsfi(o)] EXT AB 
MM f(c) 的 第 i 个 元 素 filo) 相对 于 1 x n 行 向 基 eT 的 偏 导 向 量 , 即 有 


PES) _ 1D, fite), Da fly Dafi 6.29) 


eT 
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TÆ, 列 向 量 Fle) = [file) fale) Fm HIT AT FIRE er = [cl ee，… ,cs] 的 仿 
导 和 矩阵 为 m xn BEBE, RELY 


ante) 
af | 2e DAA o Dahil 

DIAS] ser |= Fle) fae nfl) (5.2.10) 
af, 加 | LPSa) Dafm(e} + Dafm(o) 
act 


PRY ES f(e) 在 e 的 Jocobian 矩阵 ， 其 行列 式 称 为 Jacobian 行列 式 。 
下 面 分 析 向 是 逆 数 的 导数 矩阵 Alc) 和 Jacobian JEPE D[f(c)] 的 性 能 : 
(1) 导数 矩阵 A(c) 的 唯一 性 ; 
(2) MEKA D Sio) 的 存储 性 ; 
(3) Jacobian $i D[f(c)] 的 唯一 可 辨识 性 。 
定理 5.2.1 ~ 5.2.3 分 别 给 出 了 以 上 三 个 问题 的 答案 。 
定理 5.2.1 SHEAR f(c) 在 点 < 处 可 微分 。 基 店 仁 两 个 导数 矩阵 A (e) 和 Ale) 
满足 df{c; u) = Ai(e)wi= 1,2, W A (c) = Aple). 
TERA (796.784) 根据 可 微分 性 的 定义 , 有 
Flet+u) = Fe) + Alou + ralu) (1) 
Fle+u) = Fle) + Ag(c)u + r2(u) (2) 


RP, rala)/lule 和 ralu)/lul BETH # uO. $ Ble) = Ale) - Ale). R 
() RER (2), 得 


吾 (ou = ralu) — relu) 


故 有 
B(cju a uo 
fula |” 
SPEAR u 40. oh LRN 
Bolte) 7 
fituj, ~~ $7 6) 
鸯 此 , 式 (3) EUS t EX 从 而 Blou = 0 HRAS u e R 成立, 换 训 之 , Ale) = 
A,(c)« m 


定理 5.2.1 表明 ,一 阶 导数 矩阵 Alc) 是 唯 -确定 的 。 
EM 5.2.2 HAMAR f(c) 在 点 c 可 微分 则 所 有 偏 导 D,f,(c),i = 1,2,---,m, 
了 = 站 2… n FE 
证 明 Beep86 由 于 fle) 在 e 可 微分 , MELE -个 m xn KERE Ale) 使 得 对 于 所 
有 lela <r A 
了 (e+a = fle) + Alcu + r(u) a) 
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式 中 


rw/lul 一 0， u +0 
因为 式 (1) 对 所 有 llela < * 成 立 , 所 以 式 (1) 自然 对 特定 的 选择 u= te, (lt| <r) 也 成 
立 。 于是, 有 


(e+tei)= f(c) + tA(cje, + ro(te;) (2) 


式 中 ， zeten 一 0, #4 0. R (2) MURRA t He t> 0, 则 矩阵 Alo) 的 元 素 


Filet tes) ~ file) 


tyle) = Jin t 
由 于 @iyte) FE, MERA Ee. FER ERES (5.2.8), 立即 知 偏 导 D; file) 
存在 。 L] 
综合 定理 5.2.1 和 定理 5.2.2, 立即 得 到 下 面 的 重要 结果 。 


定理 5.2.3 296087 SHERR fle) 在 e 可 微分 , 并 令 ww 是 一 n x 1 实 向 量 , 则 
df (c,x) = (D[f(e)])u (5.2.11) 


RP, D[f(o)] 为 m x n BE, 其 (i9) 元 素 为 Dfe) CHARAN f(e) 的 第 i 个 元 
素 关 于 向 量变 元 e 的 第 ; CRS. 反之 , 若 Alc) 是 满足 


df(c;u) = Afeju (5.2.12) 


RERE, 则 A(c) = DIFE) 
式 (5.2.11) 中 的 m x n SPE D[F(c)] RRA OBB f(c) 在 e 的 Jacobian ERE, 


由 式 (5.2.10) 定义 。 
mxn 维 Jacobian EPERERA HEAR f(e) 在 点 e 的 梯度 矩阵 , 记 为 Vf(c)， 


即 有 


V Fe) = (PIKOT (5.2.13) 

特别 地 , E m = 1, 即 对 于 以 mxl 向 量 e 为 变 元 的 标量 函数 f(e), Jacobian 矩阵 Dif (c)] 
退化 为 1 xm 行 向 量 ,其 转 置 给 出 mx 1 梯度 向 量 Vf(e)。 

以 上 结果 可 以 归纳 为 求 m x 1 向 量 函数 f(c) 的 梯度 和 矩阵 Vfl) 的 方法 如 下 ; 

0) RAR f(c) 的 微分 af(c; u) = [DIF (cu, 得 到 Jacobian 矩阵 D[f(c)]。 

(2) 将 Jacobian 矩阵 转 置 ， BEAM Vyle) = (DI 

在 求 向 量 函 数 的 微分 时 , 经 常会 遇 到 向 量 函数 为 复合 少数 的 情况 。 此 时 ， 下面 的 链 式 
法 则 {chain rule) 和 Cauchy 法 则 起 着 关键 的 作用 。 

定理 5.2.4 (ERE SHER f(e) 在 c 可 微分 ， 并 且 向 量 函 数 g(5) 
E b= fle) 可 微分 , 则 复合 向 量 函 数 


A(z) = of f(z) (8.2.14) 
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在 e 可 微分 , FH 
Dhe) = (Dlg H) (IFO) (5.2.15) 


定理 5.2.5 2967.93] RERAN 了 在 点 ec 可 微分 , Ag 在 5 = fle) 可 微分 , 则 复 
PBR hlæ) = g(f(z)) 的 微分 由 上 式 给 出 : 
dh(c;u) =dg(bsdf(e;u)), Vue R (5.2.16) 
PRELIM PIS HE T oe Be BS) FE eB Be EB 
例 5.2.1 考虑 标量 函数 tr(U) 的 微分 , 得 


dltrU)=d (= ua) = Yau = tr(dU) 
= 


i=l 


aA 
d(trU) = tr(d U) (5.2.17) 


例 5.2.2 考虑 矩阵 乘积 UV 的 微分 矩阵 有 
WV) = qd (UVY,) 
=d (Eun) = Paluan) 
= 二 [(duig oes + aakdau] 
= dupe + > waders 
= (anv, + wav, 


从 而 得 
dUV)= (dU)V + Uav (5.2.18) 


令 A,B ARH, JFHU,V,W,X ieee. FECA TEED Be AR 


则 [296, pp.148~154] | 
(1) FHA AEE A FHER, BE 
dA=0 (5.2.19) 
(2) 常数 a 与 矩阵 函数 U RRB, E 
d(aU) = odd (5.2.20) 
(3) ERER Bt Ae oP EE SD BEB A BP, BD 
dV) = (aU )™ (5.2.21) 
(4) FRM eH (22) 的 微分 矩阵 为 
d(U +V) =4U av (5.2.22) 
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(5) 常数 矩阵 与 矩阵 轴 数 乘积 的 微分 年 阵 为 
d(AXB) = A(dX)B 
(6) JERE PRR AR AY GAT BE 
d(UV) = (dU) V +U (dV) 
d(UVW) = (U)V W +U(dV)W + UV (aW) 
特 草地 , 车 A BAT BERR, W 
d(X AXT) = (dX)AXT + XA(AX)T 
d(XTAX) = (dX)TAX + XT AdX 
(7) EERIK] Kronecker 积 的 微分 矩阵 为 
d(U @V) = (QU) @V+U @aV 
(8) 矩阵 函数 的 Hadamard 积 的 微分 矩阵 ， 为 
dU OV) =dUyoV+uedv 


(9) 向 量化 函数 vec(U) KERET U AON EE AS EE PC B 


d(vee(E7)) = vec(dU) 


(10) 行列 式 的 微分 为 
十 下 | = |X |tr(X714.X) 


(11) 和 矩阵 U5 的 迹 的 微分 dQ) 等 于 微分 矩阵 dU 的 迹 tr(dU), 即 有 
d(tr(U)) = tr(dU) 
d(tr(XTX)) = 2tr(XTdX) 


(12) WEERA EREA 
d( X~’) = -X~ (dX) X~ 


_ (13) Moore-Penrose 逆 矩 阵 的 微分 矩阵 为 
a(xt) = — Xt(axy Xt + UXT aXT)T -X Xt)+ 
(I -XIX)(AXT) XI)T Xt 
a(X1X) =XHAX)U ~ XIX)+ (XNU — x'x))" 
UXX?) = (FX XN(AX)Xt + (Ur - xxx axt)" 


(14) FARES BAUR MERE A 


dlog X = X71dX 
dlog(XTAX) = (XTAX)'(dX)TAX + XT AX] 


(5.2.23) 


(5.2.24) 
(5.2.25) 


(5.2.26) 
(5.2.27) 


(5.2.28) 


(6.2.29) 


(5.2.30) 


(5.2.31) 


(8.2.32) 
(5.2.33) 


(5.2.34) 


(5.2.35) 
(5.2.36) 


(5.2.37) 


(5.2.38) 
(5.2.39) 
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5.2.2 ”标量 函数 的 梯度 


以 上 分 析 表 明 ， 和 矩阵 男 数 的 导数 可 以 利用 矩阵 微分 计算 ， 而 矩阵 微分 的 计算 具有 简 
单 易 行 的 特点 。 作 为 只 体 的 应 用 ， 现 在 讨论 如 何 利用 矩阵 微分 ， 求 一 个 标量 函数 的 梯度 
矩阵 。 


下 面 的 引 理 总 结 了 由 矩阵 微分 求 标量 交 数 的 仿 导 ( 即 梯度 ) 的 两 个 重要 关系 。 
引 理 5.2.1 295) SARA (X) 在 m xm WEA 下 可 微分 , 则 下 列 关系 


成 立 : 


df(X)= AdX © Vf(x)= Bies 9 =AT {5.2.40) 
df(X) =t(AdX) © Vf(2) = "arm =A" (5.2.41) 


AP, A 有 可 能 与 变 元 矩阵 X 有 关 。 
1， 向 量 的 标量 函数 
HERRERAN RAIAT: 两 个 向 量 的 内 积 aTe 和 一 次 型 函数 TAT. 
令 fæ) =ar, BA 

djffz] = aTdz (5.2.42) 

从 而 得 Jacobian 矩阵 Df(c) = ar。 因 此 , AA f(x) = aTe 关于 变 元 向 基 zx 的 梯 

HEN 


T, 
Vre) = 2 = DD) =a (6.2.48) 
SSRI fe) = oT Aw, 其 中 ,A4 是 一 个 正方 的 常数 短 阵 。 于 是 , 利用 Cauchy 


法 则 , 有 


df (x) = d(w™ Ax) = (dz)r4z+zT4dz 
= (dx? Ag] + sT Ade = 2 Ade + 27 Ade 
=2'(A+ A de 


由 引 理 5.2.1 直接 得 二 次 型 函数 f(z) = aT An 关于 变 元 向 量 = 的 梯度 向 量 为 


V(zr4z] = oa" oe Ae (DIFEN) = (A+ AT)e (5.2.44) 
显然 , 若 4 为 对 称 矩 阵 , 则 
via" An) = 22 oat Ae =2An, A 为 对 称 矩 阵 (5.2.45) 


2. 托 阵 的 标量 函数 : 迹 
利用 微分 矩阵 的 性 质 (5.2.32) 易 知 
dtr(X) = tr(dX) = tr(IdX) 
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因此 , 由 引 理 5.2.1 AAK (X) 关于 KX 的 梯度 年 阵 为 


Otr(X) 
ax 


对 于 tr(XTX), 注意 到 tr(47B) = tr(BTA), 有 


=17=1 


dtr( XTX) = tr (dXTX)) = tr (axx + x"ax) 
= tr ((4X)"X) + tr(X7dX) 
=tr (2xTax) 
故 由 引 理 5.2.1 得 tr(XTX) AT X 的 梯度 矩阵 为 


B®) - = (2X7)? =2X 


考虑 三 个 矩阵 乘积 的 迹 函 数 tr(XTAX), 其 微分 
dtr(X7AX) =tr (ax™Ax)} 
= tr (dX)TAX + XTAAX) 
=tr ((dX)TAX) +tr(XT AdX) 
=tr((AX)TdX) +tr(XTAdX) 
=tr (XT(AT + Ajax) 


从 而 得 梯度 矩阵 
eA) - [IXT(AT + A)T = (AT + A)X 
FER a TAERE tr(AX 7). HAE 
dtr(AX—") = tr (d(AX~')) = tr (44X7) 
= —tr(AX7'(dX)X7") 
= -tr(X~1AX—1aX) 


由 此 得 梯度 矩阵 
Otr(AXT) _ 


/vl -1\F 
ax (XT AX?) 


表 5.2.1 汇总 了 儿 种 典型 的 迹 函 数 的 微分 矩阵 与 梯度 矩阵 的 对 应 关系 。 


3， FGETS: 行列 式 


定理 5.2.6 R99 nxn HEBERT UK |X| 在 X 的 微分 由 下 式 给 出 : 


Al X| = |X [tr(X~14.X) = te([X[X77dX) 


(5.2.46) 


(5.2.47) 


(5.2.48) 


(5.2.49) 


(5.2.50) 
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表 5.2.1 ” 几 种 迹 函数 的 微分 矩阵 与 梯度 矩阵 的 对 应 关系 29 
RH F(X) ‘GRRE. AF (X) 梯度 名 阵 OF(X)/OX 
tr(X) tr(ZdX) I 
(XTX) 2tr(XTdX) ax 
tr(AX) tr(AdX) AT 
tr(X2) 2tr( XdX) 2XT 
tr(XT AX) tr (XT(A + AT)AX) (AF AT)X 
tr(XAXT) tr ((A+ AT)X7TdX) X(A+ AT) 
tr(XAX) tr((AX + XA)dX) XT AT + ATXT 
tr(AX7!) -tr (XIAX-—1dX) —(X-ITAX-I)T 
tr((XAXB) tr((AXB + BXA}dX) (AXB+ BXA)T 
tr(XAXTB) | t((AXTB + ATXTBT)dX) | BTXAT+ BXA 


证 明 4 rz EER X 的 元 素 , c;; 是 x;y 的 余子 式 。 由 行列 式 定义 知 


由 于 ry 的 余子 式 cy 与 zw 无 关 , 求 上 式 关于 sy HAS, WEY 


偏 导 , 易 得 微分 


dx=} 


n 
x| = J eyta 
p 


n 


3=1 j=l 
x# 


Ons 


n 
Y cydey = ir(X#dX) 


Rp, X* HE X 的 伴随 矩阵 。 由 于 X = FT 故 立即 有 


a|Xf = tr(|X|X~1AX) = |Xltr(X- dx) 


这 就 是 式 (5.2.50). 


alx 


由 定理 5.2.6 和 引 理 5.2.1， 立 即 得 行列 式 的 梯度 矩阵 为 


Sy = RIT = |XX 


Ox 


(5.2.51) 


有 了 定理 5.2.6 和 引 理 5.2.1, 求 矩 阵 乘积 的 行列 式 的 微分 及 梯度 矩阵 便 变 得 容易 。 下 


面试 举凡 例 。 


考虑 X? 的 行列 式 。 由 定理 5.2.6 知 
aX} = d|X|? = 2|X|d|X| = 2|X Ptr (X dX) 


应 用 引 理 5.2.1, 立即 得 


ax 


ax 


= AXP = XP XT 


(5.2.52) 


(5.2.53) 
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S X e R™™”, jfH rank(X) = m 即 XXT Be, WRT FARE X XT 的 行列 
式 , 有 
aX XT | = |XXTitr (xx?) -a (XX7)) 
= |X X7 tr (( (XXT™)-! jax) )XT+X(aX) 可) 
= XX" [tr (xx MaX)X™) + er (xx xax)")] 
=|XX"] [t (x™(xxT) ax) +tr (ax) x7(xx7)"")] 
=|XX7| [tr (XTX XT) ax) + tr (x7(xx7)"ax)] 
=r (2X X™1XT(XX7) ax) 
式 中 , 使 用 了 迹 的 性 质 公式 tr(4B) = tr(BA) 和 tr(ATB) = (BTA). H3 5.2.1 52 
即 得 梯度 矩阵 


BIXXT| - 
-x = 2X XT KXT) X (5.2.54) 
RP, UH TEER BS Ty LeU EE, 即 
(XAN = (XXD = (KT 
类 似 地 , 令 X e Rmx"。 # rank(X)= n A XTX BP, 则 有 


a\XTX|=tr (SXTXKXTX) XTAX) (5.2.55) 


由 此 得 


T 
ae = YXTX|X(XTX) 7 (5.2.56) 


再 考虑 和 矩阵 乘积 AXB 的 行列 式 , 有 


d|AXB| = |AX Bitr ((AXB)-'d(AXB)) 
= |AX Bitr ((AXB)1 A(X) B) 
= JAX Bitr (B(AX B)"1AdX) 


在 得 到 最 后 一 个 式 子 时 , 使 用 了 (CB) = (BC). 
这 样 一 来 , 由 引 理 5.2.1 立即 得 


a = |AXBIAT(BTXTAT)“1BT (5.2.57) 
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S F(X) =|XAX™|, 则 其 微分 为 
dj 入 AXT| 
=|XAX" Hr ((X AX™)-1d(XAXT)) 


=|XAXTItr (axt [axax + xalax)"]) 
=|KAXT| [ex (XAXT) (dx)AXT) 十 红 (ax?) xa(ax)")| 
=|XAX"| [t (xax axax") +tr (KAX™)- ax) (x4)")] 
=|XAXT| fte (AXT(XAXT AX) + tr ((XA)TXAXT)-1dX)| 
=|XAXTIr (a + ATXT(X AXT] aX) 

于 是 , 引 理 5.2.1 给 出 梯度 


DIXAXT| 


ax (XAXT) TX(AT+ A) (5.2.58) 


式 中 , DT = (D747. 
类 似 地 , 行列 式 [XTAX| 的 微分 为 
dlXTAX| =|XTAX]tr ((XTAX)-!a(XTAX)) 
=|XTAX |tr (ataxi faxy ax + XTAdX|) 
=|XTAX| fe ((x* Ax) aX) AX) +tr ((xTAx) 1x? Adx)| 
=|XTAX| [tr (taxy tax Tax) +tr ((xTAxy x"aax)] 
=|XTAX|tr ((XTAX) IXT(AT + Ajax) 
TÆ, 引 理 5.2.1 给 出 梯度 
25 =|XTAXI(A+ AT)X(XTAXYT (5.2.59) 
=QXTAX|AX(XTAX) |, A 为 对 称 矩阵 (5.2.60) 
BE 5.2.2 WI TA TT E R AA BE REEE OT KE Ro 
R522 MEATIA ERAY ER SRS MMM Re 


行列 式 f(A) 微分 短 阵 df (2) 梯度 矩阵 Bf(X)J/BX 
Ix} |X] tr(X-1dX) IXIX-T 
1x2] 2[X}?tr (X-1dX) axpxT 
{XXT| QXXT| tr (XTXAXT) aX) AXXT(XXT) IX 
[XTX] AXT X| tr (XTX) XTX) 2| XTX|X(XTX})-! 
|AXB| {AX B| tr (B(AXB)-1AdX) |AXBIAT (BT XT AT)—1 BT 
[XAXT| |XTAX|tr (XTAX) 1XT(AT + Ad X) | [XTAX|(A+ AT)X(XTAX)-T 
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5.2.3 ”二 阶 微分 矩阵 与 Hessian 4i 
一 个 实 值 函 数 对 和 矩阵 变 元 的 连续 “次 微分 得 到 的 结果 称 为 该 函数 的 一 阶 微分 矩阵 。 
令 f(z) 是 nx1 AE x 的 标量 函数 , 则 fw) 在 æ 的 Hessian EEA nx n SE 
BE, 定义 为 


er f(z) _ ð (sf _ OVS (a) 
HU A = ir (GP) = (6.2.61) 
JERR KHAR F(X) 在 X 的 Hessian FEM YH 
def ð OF(X) T 
H(X) = Dec XJT er) (5.2.62) 


根据 这 一 定义 求 Hessian 矩阵 , 显然 比较 复杂 。 更 简单 的 方法 是 利用 实 函数 F(X) 的 二 阶 
微分 矩阵 与 Hessian 矩阵 之 间 的 对 应 关系 。 

令 2,2,X 分 别 代 表 函 数 的 标量 、n x 1 向 量 和 nx g HEP, 而 FO), FO, FC) 则 分 别 
表示 标量 函数 、m x 1 向 量 函数 和 mx p SER. 

表 5.2.3 WOU (second identification table) 描述 了 不 同 函 数 的 一 阶 微分 矩阵 


与 Hessian 和 抢 阵 之 疗 的 基本 对 应 关系 。 


表 5.2.3 ”二 阶 辨 识 表 [296,P.190] 


函数 一 阶 徽 分 矩阵 Hessian Sil: H H 的 维 数 
f(z) a? [F(2)] = 8(dz)2 Hf] = 8 1x1 
f(z) dlf(m] = dz)" Bax Hif(z)| = į (B +B”) nxn 
£20 PIHE) = (d veo(X))T Bd(veo(X)) HIX) = 408+. BT) | ngx ng 
f(z) a? (f(#)] = blds)? Hif) =b mx1 
fis) difia) = Em $da)" Bda Alf(@)| = $B+(B),] | mnxn 
F(X) | BIAK) = Um @ dvec(X)T BaCvec(X)) | HFK) = $IB+(B),] | mng xng 
F(a) 2[F(2)| = Bidz)? H[F(2)] = vec(B) mp x1 
F(z) d?[vec(F)] = (Imp @ de)" Bda H{F(@)| = }{[B+(B),] | mnpxn 
H[F(@)| = 31B + (B'),] | mnpe x ng 


F(X) | d?[vec(F)] = (Imp ® d veo(X))7 Bd(vec(X)) 


25.23 中 , 在 向 量 函 数 了 的 情况 下 , EE BA (B), 分别 为 


B=| .|, (8B),= (5.2.63) 
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而 在 矩阵 函数 FP. EE B M (B), 分 别 为 


By Bh, 
Bri Bm 
B=| : 上 (B),= | : {5.2.64) 
By Bi, 
Bmp. Bry 


所 有 分 块 矩 阵 B,, B2,… ,Bm 以 及 Bor, Bmp WE n xn HER (E fA F Aa 
是 nx1 向 量 z 的 向 量 函 数 和 矩阵 函数 ) 或 者 都 是 ng x ng 矩阵 (E f AF RE n xq 
和 矩阵 XCF) a SB). 

在 许多 情况 下, PREM RK X) 取 以 上 形式 之 一 : 


@ f(X) = tr (B(AX)™C(dX)) (5.2.65) 
或 

d?f(X) = tr (B(AX)C(dX)) (5.2.66) 
在 这 些 情况 下 , 标量 函数 F(X) 的 Hessian 矩阵 可 以 很 容易 从 二 阶 微分 矩阵 求 出 ， 详 见 下 
面 的 定理 。 


定理 5.2.7 O 令 f(X) 是 m xn 矩阵 天 的 实 值 函数 ， 并 可 二 次 微分 ， 则 函数 
FX) E X 的 二 阶 微分 矩阵 与 Hessian 矩阵 之 间 存 在 下 面 的 对 应 关系 : 


d HX) =tr(B(dAX)TCdX) <> H(f(X)) = JE" @C+B8CT) (5.2.67) 
和 
d F(X) = tr (B(AX)CaX) 4> A(f(X)) = IK son BT @C+C™S@B) (5.2.68) 


RP, Kam 为 交换 矩阵 。 
证 明 回顾 1.10 节 , 多 个 矩阵 乘积 的 迹 与 Kronecker 积 之 间 有 下 列 关系 : 


tr(ABCD) = (vec(B™))7(A™ 8 C)vec(D) 


从 而 有 
tr (B(d X)7CdX) = (d(vee(X)))7 (BT @ C)d(vec(X)) 


以 及 
tr (B(d.X)Cd.X) = (dvec{X7))7(B? 8 C)d(vec(X)) 
= (d(vec(X7)))" Kim(B? © C)d(vee(X)) 


由 二 阶 辨识 表 , 立即 得 到 定理 的 结果 。 a 
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下 面 举 儿 个 例子 说 明 如 何 应 用 定理 5.2.7 求实 值 函 数 的 Hessian ERE. 


例 5.2.3 ZEKAEM 
F(X) = tf( 1) 


»X#-P nxn HH. AT 


df(X) = -tr (X7'(dX)X71) 


求 上 述 一 阶 微分 的 微分 , 并 利用 d(trU) = tr(dU), 得 二 阶 微分 矩阵 
d? f(X) = ~tr (dX)X~’) — tr (X (dX)(dX~7)) 
= 2tr (X 1(AX)X (aX) X71) 
= Mtr (X H(AX)X 1dX) 
利用 定理 5.2.7， 即 可 得 到 Hessian 和 矩阵 
H(f(X)) = K,,(X7)? @ X14 X-7 @X-?) 
5.2.4 MP 
f(X) = tr(XTAX) 
其 一 阶 微分 为 
af(X) = tr (XT(A + AT)AX) 
再 次 求 微分 , 得 二 阶 微分 
@f(X) = tr(aX)T(A + AT)dX 
由 定理 5.2.7 知 Hessian 矩阵 为 
H(f(X)) =1@(A+ A”) 


例 5.2.5 0 企 快 速 子 空间 跟踪 中 , 神经 网 络 的 学 习 算法 由 日 标 函 数 


J(W) = 5 fer (iow Taw) ~ te(wTw))] 


(5.2.69) 


(5.2.70) 


(5.2.71) 


(5.2.72) 


(5.2.73) 


(5.2.74) 


(5.2.75) 


(5.2.76) 


(5.2.77) 


的 最 大 化 确定 , 式 中 ，W 起 一 个 n xr HE R= Bire) © RY” 为 观测 数据 向 量 的 


自 相关 和 矩阵, CE nx n 对 称 和 矩阵 。 求 月 标 函数 的 一 阶 微分 ,得 
ay(W) = 3 [a (trtog wT Rw) -a (ww Tw))] 
ate ((wTRW) Ww RaW) - tr(W Taw) 
由 引 理 5.2.1 立即 得 梯度 矩阵 
ow) = R'W(W'RW)! - W = RW(W RW) Ww 


(5.2.78) 


(5.2.79) 
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令 其 等 丁 零 矩阵 ， 即 有 


RW(WTRW) -= Ww 
PBA WT, TY 
WW =I (5-2.80) 
即 学 习 算 法 可 以 保证 , 神经 网 络 的 突 触 权 和 矩阵 W KAA PERZIE. 
另 一 方面 ， 由 式 (5.2.78)， 又 可 求 出 一 阶 微分 
PIW) =a (tr ((WTRW)-'W" Raw) ) -d(tr(Waw)) 
=te (a (wT Rw) wTRaW)) — tre(awTaw) 
=tr (a ((WT™RW)!) WTRAW + (WTRW) 'd(WTRAW)) - 
tr(dW Taw) 
= -tr((WTRW) -IAWTRW)WT RW) WT RAW) + 
tr (wTaw)- aw )Raw) tr (awa) 
= 一 让 ((WTRW) ‘AW RW (WTRW) w Raw) - 
tr (wt RW) -WT Raw (WT RW) WT RAW) + 
tr ((WTRW) am7)adm) ~tr (awa) 
由 定理 5.2.7 即 得 Hessian iE 
H(J(W)) = 一 (WTRW)-1@ [eww RW) WR - 
Ky [Rww™ Rw)"| ® [wt Rw) wR] + 
(WTRW)R-I (5.2.81) 
st, Kpn 为 rn x rn 交换 矩阵 。 
有 了 目标 函数 的 梯度 矩阵 和 Hessian 矩阵 , 就 可 以 对 得 到 的 自 适应 算法 进行 统计 性 
能 分 析 。 对 这 一 分 析 有 兴趣 的 读者 ,可 进一步 参考 文献 [311]。 


5.3 AER STARRY 


在 许多 应 用 中 , FRR LY A ERA Uk BS EA 
数 。 在 这 些 场合 , ORAL AD LAR DT mH T RA ERA SE 
很 显然 , 这 类 梯度 有 两 种 形式 

(1) 梯度 :目标 冰 数 相对 于 复 向 量 或 者 复 矩 阵 本 身 的 梯度 ; 

(2) SEGRE. LAR eMC TAE ERA SS EE. 
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首先 考查 复 变量 > RABBI z* 的 实 值 函数 f(z,z*)。 求 稳定 点 的 条 件 ( 式 (5.1.4) 
中 的 第 一 式 ) 变 成 


Per) -0 或 A 0 (5.3.1) 
dz Oz* ™ 
这 涉及 到 实 值 函 数 f(z,z*) 关于 复 变量 z RARBG z+ 的 偏 导 数 。 
5.3.1 ” 实 值 函数 相对 于 复 变量 的 偏 导 数 


将 复数 
z=zr+jy z*=a2-jy (5.3.2) 
或 1 
=g@t2) y= 5e —2*) (5.3.3) 
AER, 即 可 引进 复数 z MRHAR 2* 的 形式 导数 分 别 为 
6_1/0 .9 
2-3 (Z -j 名) (5.3.4) 
和 
@=-1(24i2 5.3.5 
Bzr 2\ ax lay (63.5) 
容易 验证 ， 这 些 定义 满足 以 下 两 个 性 质 : 
Oz Oz* 
2 = ae =1 (5.3.6) 
z EM 
an Oz o (63.7) 


式 (5.3.6) 和 式 (5.3.7) 描述 了 复 变 量 理论 的 一 个 基本 结果 , 在 求 偏 导 数 时 , 复 变量 x 
和 其 复数 共 辑 z* 可 以 当 作 两 个 独立 的 变量 处 理 ， 邵 任何 一 个 相对 于 另 一 个 都 柯 认为 起 


常数 。 于 是 , 复 变量 z 的 实 信函 数 f(z,z*) = le = zz* 的 一 阶 篇 导数 为 2 =z 和 
alel _ 
Oz* 
各 果 fo, 2") 关于 实时 变量 > MERER y REGER, 则 有 
afer) _1[Ofln2") ,Of(z,2") 
Bz -站 2 OSC | (5.3.8) 
和 和 afez) 1 ES 4 bile 2) (5.3.9) 
de 2| ð 1 ay a 


“RUA SRA HT SRE AEA IR 

定理 5.3.1 57 SARE f(z,2*) 是 复 变量 * 和 z* 的 实 信函 数 ， 并 且 相对 于 = 
fi 是 解析 的 则 目标 函数 的 所 有 稳定 点 可 以 通过 令 AED = 0 或 者 PED _ 9 
求 出 。 

根据 上 述 定理 ,为 了 求 目 标 函 数 Jer) = lo? 的 极 小 信 ， 可 以 先 计算 仿 导 数 EE 


Ot ， 并 令 信 导 数 等 于 地 , 求 出 稳定 点 。 最 方便 的 选择 是 令 SE 一 0， mesa 
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Fiz =Oo EFRY f(z, 2*) = ej 是 严格 凸 的， 故 目标 函数 f(z,z*) = |z 的 这 个 唯一 稳 
定点 就 是 该 手数 的 全 局 极 小 点 。 


5.3.2 ”标量 函数 相对 于 复 向 量 的 梯度 


在 许多 工程 应 用 中 , 最 小 化 问题 的 目标 阔 数 F) 往往 是 复 向 其 w ROE. 
此 时 , 最 小 化 问题 的 解 由 


w = arg min f(w) (5.3.10) 

给 出 , BIB OCA EE ERAR (w) 取 全 局 极 小 值 时 的 变 元 w。 此 时 , AER OK 
相对 于 复 向 量 w 的 梯度 。 

在 寻找 优化 问题 的 最 优 解 过 程 中 ， 往 往 需要 对 候补 的 解 向 量 进 行 葛 新， 使 之 收敛， 

而 更 新 方向 由 目标 消 数 租 对 于 向 量 ( 变 元 ) 的 梯度 决定 。 相 对 于 向 量 w 的 梯度 算 子 记 作 

Vur 定义 为 


a efa ə ay" 
bu 7 ve = ir a (5.3.11) 
因此 , Bere fiw) 相对 于 复 向 量 w 的 梯度 定义 为 
of (w) et [OF(w) Afw) — AF(w)]” 
flu sves | BB | (5.3.12) 
而 目标 函数 (w) 相对 于 复数 共 辆 向 量 w ORAL (a) 定义 为 
af(w) ar [OF(w) Of(w) af] 
Bur 7 Ver fw) | Sut Gu? dws | (5.3.13) 
PROT HER 


着 fw) = fiw) awh fm(w)] 为 一 1xm 复 行 向 量 函 数 , 则 f(w) 相对 于 复 
列 向 量 w 的 梯度 为 一 nx m 矩阵， 并 定义 为 


rofilw) 8pto) ~ Afm(w) 
Ou, ðw, ðw 
Bfi(w) A fylw) Af (w) 
of) - Buy, Buy Ow, (5.3.14) 
fw) ahw)  Afplw) 
L dw, ETA Bwn 
类 似 地 , 行 向 量 函 数 f(aw) AN TAE w KERRAT, 定义 为 
rofilw) ahw) dfn(w) 
bw} dwt dwt 
ora) [Of Bato), fate) 
= wh ðw dw (5.3.15), 
fw) of) falu) 
A Bu bws J 
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特别 地 ,容易 求 出 
Bw, Gwa Dn 
dw, Fw, Ow 
Bw, Bw, dw, 
Bw fow Bwa, Bwa) |ou, wr | Dog) = F 
ôw w’ w Bw |. : 2 
Om Ow dwn 
Ow, Ow, Swn. 
dwt dwt dws} 
dwt wt dwt 
owt dws bw 
ao jowt Gu bwn) _ | Bug Bug | Dilor 
Gu (3w Da? Bp" . . |= 
dwt Ow Ow’, 
Dug Owe awe, J 
dw, tv Bun) 
dwt w Out 
ou? tow 8 Ow, ðw OW, 
Bw” [Bur Sw, On) | ðw] dw; Dwz | - 
5 2 =0 
Bw, Wy Ow, 
But Swi dws | 
Owt aw; dwt 
dw, dw, Bu 
oa 8 aw dui oo 
Bw” [evi O03 wi) | Bw, Bw, Dwz | = 
dw T [o dw’ el nen Bt =O 
Out ðw ows 
Sw, Dwn Fwy 
即 有 
ôw? dwt 
oe bert (5.3.16) 
dwT ôu! 
our = Be 7? (5.3.17) 


RP, TA ODARE SE 
式 (5.3.16) 和 式 (5.3.17) 可 以 分 别 看 作 


是 复 变量 关系 式 (5.3.6) WH (5.3.7) CA 


情况 下 的 推广 : 任何 一 个 复 向 量 w AE SEE DE w* 都 可 以 当 作 两 个 独立 的 复 变 元 处 


理 , 即 在 求 梯度 的 过 程 中 , 复 向 量 w 相对 于 : 
对 于 w 也 可 视 为 一 常数 。 
下 面 举 三 个 例子 说 明 如 何 求 标量 请 数 相 


KRADE w 可 视 为 一 常数 ; 反之 , w 相 


对 于 复 向 量 的 梯度 。 


例 5.3.1 令 fw) = pw Abe. Rt, p Aw WA nx 1 复 向 量 。 于 
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是 , f, 相对 于 wt 和 w 的 梯度 分 别 为 


日 dwt 

Ja P7) = gP = Op" =0 
OH OWT s ry "i 
aP W) = Gy P TIP =P 


ô Ow 

Far (wp) = 5 P=Ip=p 
2 (wp) = OH p= op =0 
Fag OP) = GP = Op = 


例 5.3.3 ZE nxi AHE w 的 实 值 通 数 fiw) = w Aw, 其 中 , 4 是 一 nxn 实 
和 矩阵。 由 于 an 
f(w) = w Aw = DDD DE TA 


记 1 j=l 


故 梯度 的 第 大 个 分 量 为 


BaoH4 ages, . 4, 
[ Dar |, 7 Bag De Atle = DL Aunt 


1 j=l 


UFR AL AIES k 个 分 量 为 


Jw! A ait ‘ ua 
[ Fa, = Bui 2 DAswiw; = Z Auw 


i=1 j=1 


式 中 ,利用 了 复数 w; MIRRA w? 是 相互 独立 的 两 个 常数 这 一 重要 结果 。 因 此 , 梯度 
PORE DIA 


Tap* 
ðw 4 
H 
ðw” Aw = Aw 
ðw* 


从 上 述 三 个 例子 可 多， 对 于 变 元 为 复 向 基 的 盟 数 ， 存 在 目标 函数 相对 于 复 向 量 的 梯 
HE Vn f (w) 和 共 印 悄 度 Vu f(w) 两 种 选择 。 那么 , 在 设计 最 优化 问题 的 学 习 算 法 时 ，, 应 
该 选用 哪 一 种 梯度 呢 ? 为 此 , 需要 引出 曲率 方向 的 定义 。 

定义 5.3.1057 给 定 一 个 Hermitian SEM H, 称 向 量 p 为 GAX THER 五 的 ) 正 曲率 
方向 (direction of positive curvature), 苦 一 次 型 pp > 0; 零 曲率 方向 (direction of zero 
curvature), # p! Hp = 0; 负 曲率 方向 (direction of negative curvature), 苦 p"Hp <0. 4 
SERE H 是 非 线 性 遂 数 f(z) 的 Hessian 矩阵 时 , 称 满足 pHHPp > 0 的 向 量 p 为 函数 了 的 
正 曲 率 方向 , 满足 p Hp < 0 的 向 量 p WOR f 的 负 曲率 方向 。 标量 pi Ap RAB 
数 f 沿 着 方向 p 的 曲率 (curvature). 

曲率 方向 也 就 是 函数 的 最 大 变化 率 方向 。 
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定理 5.3.2 07 $ f(w) 是 复 向 量 w MSMR. MIL w 和 w 视 为 独立 的 变 
元 , 实 日 标 函 数 f(w) AVR A ILS TE Vo f(ww) 给 出 。 
证 明 考虑 实 值 函 数 7 的 变 分 


1-5 (hans La) 


-Furio + [Vane f (00)]T 0" 
RP, dw = [iw fwa w] 是 复 向 量 w 的 变 分 。 计 算得 5f = 2Re {Pu fw))" sw} 
由 Cauchy-Schwarz 不 等 式 知 , 这 个 变 分 满足 不 等 式 
BP = 4 [Re {Vue fo) seo)| < 4) Pur flo) ow 
HENRY Vu f(w) = ciw (c 为 非 零 的 复 常数 ) 时 ， 等 号 成 立 。 这 表明 , 变 分 jy 取 最 大 什 
的 条 件 是 变 分 dw 与 共 辆 梯度 Vue f(w) -者 的 方向 相同 。 因 此 , 与 实 值 两 数 f(w) 的 最 
大 变化 率 相对 应 的 方向 就 是 该 函数 相对 于 复 共 固 向 量 w* 的 梯度 Vi f(w) 的 方向 。 M 
定理 5.3.2 表明 , 华 无 约束 的 最 优化 问题 中 使 用 最 陆 上 降 法 时 , 道 常 使 用 共 轿 梯度 向 
E Vu fao)。 由 于 梯度 向 量 指出 了 目标 图 数 最 大 变化 率 的 方向 , 最 优化 问题 的 解 向 量 可 
以 使 用 “最 陡 下 降 法 ” RT, 即 有 
Wp = Wri — Vw flw), p>0 (5.3:18) 
就 是 说 , RIER PAR EE 5 H RERA RREREE. ERRA RERA 
候补 解 的 学 习 算 法 ; 常数 u 称 为 学 习 步 长 , 它 决定 候补 解 趋向 最 优 解 的 收敛 速率 。 


下 面 是 关于 收 钱 速率 的 定义 H, 
EX 5.3.2 $ {zp} 是 一 收敛 为 真 值 向 量 z, NAR HH r, A oe 车 


im zeta 一 ae 
e es =el 


则 {zs} 以 8 二 次 速率 (Q-quadratically) 收敛 为 rw。 一 个 向 量 序列 {wz} 以 Q BREE 
率 (@-superlinearlly) 收敛 为 pv 若 存 在 一 个 收 伍 为 零 的 序列 h 使 得 对 所 有 足够 人 的 
整数 k, EH 


= Yer O< y< 


tera ~ Pelle = Arlle — li 
根据 定义 一 个 Q 超 线性 收敛 的 向 其 序列 {x} 满足 lep- ell = olle — ell) > 
如 果 日 标 函 数 是 “足够 平滑 的 ”( 没 有 太 多 的 极 大 值 和 极 小 值 ), Eb H 
全 局 极 小 值 。 严格 凸 的 函数 必定 是 足够 平滑 的 , 可 以 保证 最 陡 下 降 法 正常 工作 。 
下 面 列 出 了 标量 请 数 的 共犯 梯度 公式 
(1) 车 f(a) = WK, MFG 
(2) 线性 法 则 ; 若 f(z) 和 g(a) 分 别 是 向 量 x 的 实 值 函数 ，cl 和 cz 为 复 常数 ， 则 


ler f(e) + c2g(7)] _ f(r) Og{x} 
1 ou =p topes (5.3.19) 
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(3) RREN: 


© fw) 和 glw) 都 是 向 基 z SCR, W 


Of (z)o(a) _ 


OF (a) Pate) 


Ox:* 


ge) Be + £0) Z 


© # f(a), g(x) 和 和 (xz) 都 是 向 量 s 的 实 值 消 数 , 则 


Pe) Conca) + payne) 
Slagle) ane 
(4) 商法 则 : AF gle) £0. W 
TOD L p PH) p 
(5) BEE: 着 v(e) 是 x MLM, 则 
IFW) _ OE aF(w) 
Ox" oe Oy 
ster, SWAN 为 nxn Sie 
(6) 车 nx 1 向 量 为 a 与 z 无 关 的 常数 向 量 ， 则 
aeo Oa ig 
(7) 令 和 4 是 一 个 与 向 量 e ERKE, 则 
owt Ay Hoy’, ox Ae ate? 


(5.3.20) 


(5.3.21) 


(5.3.22) 


(5.3.23) 


(5.3.24) 


(5.3.25) 


Bi 5.3.4 考查 求解 超 定 矩阵 方程 Aw =b 的 最 小 二 乘 方法 。 定 义 误差 平方 和 


J(w) = || Aw — b|} = (Aw — b)" (Aw — b) 


= wi At Aw — wi Ab — b Aw + bb 


为 准则 函数 。 由 于 矩阵 方程 Aw = b 的 平衡 点 满足 
Vu F(w) = AM Aw - Ab =0 


HAMA 非 奇 异 ， 则 平衡 点 为 


w= (AN A)-lABB 
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它 就 是 我 们 熟悉 的 最 小 二 乘 解 。 
例 5.3.5 考查 求解 超 定 矩 阵 方程 Aw = 5 的 最 人 似 然 方法 。 定义 对 数 似 然 函 数 


IQ) =C— hee (5.3.26) 
AF, C 为 一 常数 ; e 为 误差 向 其 , 定义 为 
e=b- Aw (6.3.27) 


HE (5.3.27) RA (5.3.26) 得 


Ka) =C~- = Top + = Lawr Zz wh AN — = 1 zÔ AM Aw (5.3.28) 


求 对 数 似 然 函数 相对 于 w HOSUR, Jl 


1 1 
Viy.l (te) = wale - gA Aw 


SESTE 得 


Ab- AM Atop, =0 R AM Aw), = AMD 


RP, Wop, 是 使 对 数 似 然 函数 Uh) 最 人 化 的 外 f TE F AMA 非 奇异 , 则 


(ABA)! AM (5.3.29) 


Wopt = 


这 就 是 矩阵 方程 Aw =b 的 最 大 似 然 解 。 可 见 , WENTE Aw = b 的 最 大 似 然 解 与 最 小 
二 乘 解 等 价 。 
5.3.3 PRM E 

PEPE MON MILGT A 2* AIEEE A 求 梯度 时 ,通常 都 先 求 出 迹 函 数 相对 
TER xt 成 者 AT RRF ORE) 然后 , 再 把 偏 导 写成 向 量 或 者 矩阵 形式 ， 得 到 迹 函 数 
的 共 轿 向 量 或 者 共 轿 矩阵 。 在 求 偏 导 的 过 程 中 , 需要 记 住 的 是 , 一 个 复 变 量 和 它 的 复 共 统 


是 两 个 独立 的 变量 。 
eA ADH nx l CARA nxn DEM. BR 


n n 
(a A], = YS tha; > faa*A],, = Satay 
k=l k=l 


tr(zz"A) = SS Tapiti = BAL 
{A kat 
类 似 地 , 有 . 
[Az]; = anty > [Ava™ ly = Satis} 
kat 
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和 
non 
tr(Awe") =} Y arrar] = ct Aw 
i=] k=1 
可 见 
f(a) = a Aw = tr(oza4) = tr( Axs") (5.3.30) 
i ČAR _ Ar, ON 


Or* 
atr(zza4) _ Otr(Ave") 
Om* Or* 
下 面 背 举 儿 个 例子 说 明 如 何 求 迹 的 共 生 梯 度 。 
例 5.3.6 对 于 nxn SERE 4， 由 于 tr = Soap, waaa CAD 的 


i=l 


= Az (8.3.31) 


(3) MRA 


atr( AMY gsi 
| 4 ] - Öar, PORN 了 天 0 


fi RE 
即 有 oula”) 
aa =I (5.3.32) 
aa aA) -o (5.3.33) 
Ey 


例 5.3.7 考查 目标 函数 f(A) = tr(A"B), KP, AA BWA mxn BHM. A 
先 , 矩阵 乘积 的 元 素 为 
[A"B]; = Letty 


故 矩 阵 乘积 的 迹 
tr(4HBB) = 7 》 ozb 
polic 
TE, 梯度 AB) anlar B) 是 一 m xn 矩阵 , 其 元 素 
ri H 
Be] = a8 (E ) = 


om p=1 1=1 


WA 
dtr(AMB) 


jae = B 


MAT tr(BA¥) = tr( APB), 故 
ôtr(A"B)  dtr(BA™) _ 


BA* 3A" 
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例 5.3.8 HT tr(yx!) 二 (pHy) = 2687， 易 知 


Btr(ye") _ trzy) Ory 
ðær br bo 


例 5.3.9 $ A ween, 则 矩阵 乘积 WA 的 (pj) 元 素 为 
[WA] 一 > worany 
kzl 


TH, AYWA 的 G7) TR 


p=l k=} 
EX, SOP TERE AS EE ATWA 的 迹 , 即 
tr( 4 A) = Yak w pees 
isi p=1 k=1 


求 此 和 迹 函 数 关 于 矩阵 元 素 a5 的 篇 导 , 得 


atr(A"WA 9 faa. 
el a (EEEn) 


写成 矩阵 形式 , 为 
Otr( AHW A) 


GA = WA (5.3.34) 
类 似 地 , 有 
[AW];p -Fauve 
= [AW A"); = Danweiy 
k=1 p=1 
=> tr(AWA¥) = 》 》 tiwa 
i=l k=l pal 
sawan. 2 - (So unuci) = (AW), 
a, ay (EG Ei 1 
即 有 
Hr(AWAD) _ aw (5.3.35) 


ðA 
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将 以 上 结果 汇总 , (aT UPS RE a EOE LL a A SB 


Ote(ya) _ dtr(wHy) _ 
ant 
Btr(BAH)  dtr(AMB) _ B 
T 
ar A® 7 Ao (6.3.36) 
aA O BAT | 
ôtr( AEWA) _ Hr(AWAD 
ay WA ba AW 


例 5.3.10 [523 考虑 例 5.1.7 的 CDMA 系统 中 , 仍然 共有 K 个 几 户 在 通信 , 但 每 个 
用 户 的 扩 频 波形 向 甚 变 成 复 向 量 st) 接收 信号 向 量 y 也 为 复 向 量 。 此 时 , 设计 多 几 户 
检测 器 M 的 目标 咀 数 变 为 

J(M) =Et||b— Myl2} 
= tr (cov(b — My)) 
=tr(I) +tr (MRAR +o RM") 一 
tr( ARM”) — tr(M RA) 
利用 式 (5.3.36), 易 求 出 
ƏM) | 
OM 
令 其 等 于 零 , 并 假定 R 韭 奇 异 , 立即 有 
M = A(RA? +0717! 


与 例 5.1.7 的 检测 器 具有 相同 的 形式 ,不 同 的 二 这 里 的 检测 器 为 复 矩 阵 。 


M(RA?R+0°R)-AR 


5.3.4 Hessian 4E (HERE bE) 
对 于 以 复 向 量 为 变 元 的 目标 函数 Fw) 而 言 ， 其 二 阶 偏 导 的 向 量 有 四 种 不 同 的 定义 


方式 : 
ð [e], 


(1) 梯度 的 梯度 Vwr[Vwf(w) = gor a 


(2) RRE Var Vat) = B07 [A], 
O 檬 度 的 共 信 术 度 Val Sle] = pe [2]; 


(4) SERRENT Vand Vu S00] B25 [FE] 
根据 定理 5.3.2， URREN HTAR fe) 它 的 生变 化 率 的 方向 由 共生 
梯度 向 量 Vu fw) 给 出 , 这 使 得 在 优化 门 题 中 , 主要 使 用 共 握 梯度 的 梯度 ,而 很 少 使 用 


其 他 三 种 二 阶梯 度 。 
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共 轿 梯度 的 梯度 为 甜 阵 形式 , 常 称 为 日 标 函数 的 Hessian 和 矩阵。 内 此 , 在 以 复 向 量 作 
变 元 的 情况 下 ， 实 值 函 数 的 Hessian 矩阵 乃 指 该 函数 的 共 思 梯 度 的 梯度 ， 而 非 梯 度 的 梯 
度 。 为 简便 计 , 以 后 使 用 符号 


a fa. 
Vol (w) = Bor i feo) (5.3.37) 
表示 日 标 函数 f(w) 的 Hessian 矩阵 。 
根据 定义 ，Hessian 矩阵 可 具体 写作 
ofw) Piw) Fw)  Pflw) 
dwt ðwjðw, wt Ow Bt Gin 
Of (w) Pfw) Ofw) Ff(w) 
V2 fw) 2 Ee = aor dug | = Buz Sug dw, O GwZ0w, 
afw)| | optw) sp) &f(w) 
ows BB Swrdw, “ dwrdw, 
(53.38) 
RAZ, V2,f(w) 的 元 素 为 a 
[Ves (w)], 5 = Fie) (5.3.39) 
4G 


作为 必要 条 件 式 (5.1.72) 和 充分 条 件 式 (5.1.74) 在 复 向 量 情况 下 的 推广 ， 判 断 实 日 
标 函数 flaz) 的 局 部 极 小 点 的 条 件 如 下 : 
(1) 必要 条 件 : Æ wo 是 fw) 的 局 部 极 小 点 ， 则 该 函数 在 点 wo RES H 
量 , f HRR REE Hessian REEE, B 
Of (w) flw) 


ow" Ja =o arbga (5.3.40) 
(2) 充分 条 件 ， EM F(w) 在 wo MIERNE, JEH Hessian 矩阵 正定 ， 
即 
Of (w) 7 Of (w) 
ou | =O odwT ames > 0 (5.3.41) 


则 wo 是 函数 fw) 的 严格 局 部 极 小 点 。 
对 于 以 复 向 量 为 变 元 的 凸 冰 数 (w) 它 的 任何 局 部 极 小 点 wo 部 是 该 函数 的 一 个 全 


局 极 小 点 .车 上 应 数 f(w) 是 可 微分 的 ， 则 满足 AD) o 的 平稳 点 wo 是 函数 


F(w) 的 一 个 全 局 极 小 点 。 

例 5.3.11 考查 实 目标 函数 fw) = w! Aw, 其 中 , 4 是 一 个 对 称 和 正定 的 矩阵 。 该 
二 次 型 目标 函数 是 严格 凸 的 函数 。 当 4 为 对 称 矩 阵 时 ， 容 易 求 得 该 目标 阔 数 的 共 斩 梯 度 
BV f(w) = Aw. > Aw=0, 得 唯一 的 稳定 点 w = 0。 进一步 地 ,又 可 求 得 日 标 锐 
数 的 Hessian 矩阵 Vur[Vuw-f(aojj = Ao AT REM A 是 正定 的 , 故 Hessian 矩阵 在 w 的 
任何 点 都 是 正定 的 。 根据 上 述 充分 条 件 立 即 知 ， 日 标 蝴 数 在 原点 w = 0 取 严 格局 部 极 小 
值 。 这 个 唯一 的 极 小 值 就 是 日 标 函 数 的 最 小 值 。 . 


lee 
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5.4 ”约束 最 优化 


利用 集合 的 符号 , 如 果 函 数 f(z) 的 变 基 x 属于 集合 5,， 则 可 以 使 用 
min f(z) 或 min{f(z):z € S} (5.4.1) 
ETAR f(zx) 在 集合 S 内 的 最 小 化 。 
考虑 下面 的 约束 最 优化 问题 : 在 等 式 约 来 


G(a)=0, i€€ (5.4.2) 
和 不 等 式 约束 
ci(z) 20, ieT (5.4.3) 
的 条 件 下 , 求 最 小 化 问题 
min f(x) (5.4.4) 


的 解 oo 其 中 , E 和 T 是 两 个 指标 集 , GRE ARAN ERAR ARE, 函数 
f(a) BA BB. TPH A Pw AR ce) 部 以 向 量 r 为 变 元 , 它们 均 为 光滑 
的 实 值 负数 。 

显然 , 约束 最 优化 问题 的 任何 一 个 解 向 量 都 必须 同时 满足 等 式 约束 和 不 等 式 约束 条 
件 。 换言之 , 约 来 最 优化 问题 的 任何 一 个 可 能 的 解 至 少 必须 是 满足 等 式 约束 的 点 me 
或 者 是 满足 不 等 式 约束 的 点 x e ZT。 有 可 能 起 约 来 最 优化 问题 的 解 的 点 x 称 为 一 个 可 行 
点 (feasible point})。 因 此 ,任何 一 个 满足 所 有 等 式 约束 或 者 所 有 不 等 式 约 来 的 向 量 w 称 
为 可 行 点 。 所 有 可 行 点 组 成 的 集合 称 为 可 行 集 (feasible set), 定义 为 


nÆ CUT ={ale,(2) =0, i€ £ Mola) > 0, iez} (5.4.5) 
可 行 集 以 外 的 点 统称 不 可 行 点 (infeasible point). 
利用 可 行 集 2， 可 以 将 约束 最 优化 问题 更 紧凑 地 写作 
min f(s) (5.4.6) 
如 前 面 两 节 所 述 , 无 约束 最 优化 问题 的 极 小 点 是 由 日 标 函 数 在 该 点 的 一 个 小 的 周边 
邻 域 的 性 能 刻画 的 。 虽然 约束 最 优化 问题 的 极 小 点 也 类 似 地 由 且 标 铺 数 在 该 点 的 周边 小 


邻 域 的 性 能 刻画 ， 但 这 个 邻 域 只 限于 包括 可 行 点 在 内 ， 而 无 需 关 注 该 邻 域内 的 任何 不 可 
行 点 。 因此, 关于 约束 最 优化 问题 式 (5.4.6) 的 解 ， 有 下 面 的 定义 osl,ss?1; 
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(1) 一 个 可 行 点 s. 是 最 优化 问题 式 (5.4.6) 的 局 部 解 (ocal solution), 车 存在 æ. 的 
一 个 今 域 WV, 使 得 f(z) > flee) Hee NN 2 AAMT ao xo, 成 立 。 

(2) 一 个 可 行 点 m, 是 最 优化 问题 式 (5.4.6) 的 严格 局 部 解 (strict local solution) , 著 
存在 z, 的 一 个 令 域 N, 使 得 fla) > fle.) Hee NNO HAD Aa xa, 
成 立 。 

(3) 一 个 可 行 点 s. 是 最 优化 问题 式 (5.4.6) 的 孤立 局 部 解 (isolated local solution), 
车 存在 we 的 一 个 邻 域 NV, 使 得 > ELEN 内 所 有 可 行 点 z 基 zy 中 的 唯一 
局 部 解 。 

注意 , 局 部 解 和 严格 局 部 解 都 有 可 能 有 多 个 , 而 只 有 当局 部 解 唯一 时 , 才 称 其 为 孤立 
局 部 解 。 
下 面 分 赣 讨 论 约束 最 优化 问题 的 局 部 解 的 一 阶 条 件 和 二 阶 条 件 。 


5.4.1 ”局 部 解 的 一 阶 必要 条 件 


约束 最 优化 问题 的 局 部 解 必 须 是 可 行 点 , 但 是 直接 搜索 可 行 点 , 往往 比较 困难 。 不 妨 
将 搜索 范围 适当 放宽 ， 即 考虑 一 个 比 可 行 集 2 更 宽 的 集合 。 

一 个 显然 的 事实 古 : 如 果 点 > 是 可 行 点 ， 那 么 它 至 少 应 该 满足 不 等 式 约束 中 的 等 式 
条 件 。 

TEM 5.41257 对 于 不 等 式 约束 集合 ole) > 0, ie ZT, 称 第 i 个 约束 a(x) > 0 是 
在 点 无 的 主动 约束 (active constraint), 47 ci(3) = 0; 称 qls) > 0 是 在 点 z 的 非 主 动 约 
JR (inactive constraint) 或 被 动 约 束 (passive constriant), 27 ¢,(@) > 0; 称 q(x) > 0 是 在 
点 多 的 违法 约束 (violated constraint), 47 (2) < 0。 对 于 等 式 约束 ci(z) = 0,ieEE, 称 
第 i 全 等 式 约束 ole) =0 是 在 点 的 主动 约束 , 若 ci(j) = 0; 称 c,(z) = 0 是 在 点 的 
违法 约束 , # c(3) #0. 

满足 等 式 约束 条 件 式 (5.4.2) 的 点 集合 和 不 等 式 约束 条 件 式 (5.4.3) 中 的 主动 点 的 集 
合 的 并 集 称 为 约束 条 件 的 主动 集 (active set), WE Ale), BA 


Ala) =EU {iE Ilale) =O} (5.4.7) 


显然 , 可 行 集 N 只 是 主动 集 的 一 个 子 集 , 即 N E Ale). 
主动 集中 的 约束 条 件 的 梯度 组 成 一 个 子 集合 {Vei(z) = 0, i € Am) 简称 证 动 约 
束 梯 度 的 集合 。 对 这 些 主动 约束 梯度 ， 通 常 需 要 加 上 限制 条 件 。 

定义 5.4.2 给 定 一 个 主动 点 o, 和 式 (5.4.7) 定义 的 主动 集 4， 称 线性 无 关 性 约束 
限制 (linear independence constraint qualification, LICQ) 成 立 ， 若 主动 约束 梯度 的 集合 
{Ve,(ws), i€ A(e.)} 线性 无 关 。 

为 了 叙述 的 方便 , 不 妨 假定 主动 集 共 有 m 个 等 式 约束 条 件 ci(z) = 0, i = 1,2,.… mo 
于 是 , 线性 无 关 性 约束 限制 可 叙述 为 , m 个 主动 约束 梯度 Ve, (as), Veg (@a), +++ | Vem (+) 
线性 无 关 。 
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通常 ,主动 约 宋 条 件 可 以 写成 上 面 的 形式 ， 


or} =alr -b=0 i=1,2 e,m 


SUP, a, 为 n x 1 常 系数 向 量 ; bi 为 标量 。 
车 记 行 向 基 


c (a) = [ey(@), e9(@), «++ em (@)] 


则 可 将 主动 集 的 m 个 约 来 条 件 用 向 二 形式 合 写 为 c(x) =0, HA 


c(x)= 4Tz -6=0 


SUP, A = (ay, az ,am] Hn x me AERE, b= [biba ba] 为 向 量 。 
根据 定义 ， 主 动 约束 行 向 量 eT(z) 的 梯度 ( 即 主动 约束 梯度 ) 为 


VeT(z) = [Ve (a), yes(m Yem(z 


alr) acz(z) Ocm (2) 
ar: Oz, 7 Ox, 
Beci(z) Beg (a) Oc (2) 
=| Or Ox, 一 Oa, 
dala) Bele) Oem (2) 
Or,, on, Or, 


RR (5.4.10) KREKT e 的 梯度 , 并 代入 上 式 , 则 有 


Vel (a) = [Ve (a), Veg(a),--- , Vem = A 


(5.4.8) 


(5.4.9) 


(5.4.10) 


(5.4.11) 


(5.4.12) 


由 于 线性 无 关 性 约束 限制 保证 了 主动 约束 梯度 之 间 的 线性 无 关 , MER A 的 列 向 量 线 


性 无 关 , 即 rank(A) = me 


一 个 矩阵 的 列 满足 线性 元 关 性 的 假设 称 为 正则 性 假设 。 当 矩阵 A) 满足 


设 时 , 与 之 对 应 的 zx 称 为 正则 点 (regular point). 


E 则 性 假 


由 5.1.7 节 无 约束 最 优化 问题 局 部 极 小 点 的 一 阶 必要 条 件 知 ,目标 羡 数 f(z) 的 梯度 
g(a) = Vf(z) = 0。 然而 , 对 于 约束 最 优化 问题 而 言 ， 并 没有 必要 要 求 梯度 g(x) = 0 在 
所 有 方向 都 成 立 , 而 只 需要 主动 点 x. 处 的 梯度 g(a.) 在 某 个 方向 Ae 上 等 于 零 向 量 即 


可 。 这 等 价 于 要 求 
(Ax)T g(a.) = 07 


满足 这 一 条 件 的 方向 Ax 称 为 可 行 (搜索 ) 方向 。 


如 果 Az 是 一 个 可 行 方向 , 则 z + aAz (0<a<d, 5 > 0) 上 的 所 有 点 都 必须 是 主 


动 点 , WISE (5.4.10) 对 £ + aAm 成 立 ， 从 而 有 


AT(z +aAz)—b=0 


(5.4.13) 


(5.4.14) 


300 第 5 章 梯度 分 析 与 最 优化 


将 式 (5.4.10) RAER, 立即 有 


4TAz=0 或 (Ary A=07 (5.4.15) 


比较 式 (5.4.15) AIÑ (5.4.13) 知 , 口 标 函数 f(x) 在 主动 点 的 梯度 g(a.) 应 该 等 于 矩 


MA 各 列 的 线性 组 合 , 即 
O(a.) = Vef (ae) = Ars (5.4.16) 


AT, 入。 ERTER A 各 列 线性 组 合 的 系数 向 量 。 
求解 约束 最 优化 问题 的 有 效 方法 是 Lagrange RRL. GREWAL, BOM 


Læ, A) = fle)— > aale) (5.4.17) 


iEEUT 
则 在 主动 点 zx 的 代价 函数 为 
Lixa, As) = flat.) — ATc(z,) (5.4.18) 


RP, A 表示 与 主动 点 x, 对 应 的 Lagrange 乘 数 向 量 。 
代价 函数 关于 主动 点 z 的 梯度 


VCP AMA) = Vof (es) -YoceT(ze)Xs 


将 式 (5.4.16) 和 式 (5.4.12) 分 别 代入 上 式 ,立即 得 
Vablae, Ax) = G(x) - AA = 0 (5.4.19) 


这 就 是 Lagrange 代价 函数 榜 度 在 主动 点 z。 必须 满足 的 一 阶 必要 条 件 。 

将 Lagrange 代价 函数 梯度 的 一 阶 必要 条 件 式 (5.4.19) 与 其 他 条 件 组 合 在 一 起 , E 
得 到 约束 最 优化 问题 的 局 部 解 的 一 阶 必要 条 件 , 如 下 所 述 。 

定理 5.4.1 (一 阶 必要 条 件 ) ”假设 x。 是 具有 等 式 约束 式 (5.4.2) 和 不 等 式 约束 式 
(5.4.3) 的 最 小 化 问题 式 (5.4.4) 的 局 部 解 ， 并 且 线性 无 关 性 约束 限制 在 oe, 点 成 立 。 令 
CUz,A) = f(z) - AT ela) X Lagrange A, 则 存在 一 个 Lagrange FAM AW RILE 
WM, GEE UT, 使 得 以 下 5 个 条 件 在 (24, An) RIE: 


c(ae) =0, ViEE (5.4.20) 
c(t) 20, VieT (5.4.21) 

Val ae, A) =0 (5.4.22) 
AZ) 20, Vie ZT (5.4.23) 
Aree.) =0, Vie EUT (互补 性 ) (5.4.24) 


以 上 5 个 条 件 合 称 - - 阶 Karush-Kuhn-Tucker 条 件 ， 简 称 KKT 条 件 。 每 个 满足 KKT 条 
件 的 点 称 为 一 个 KKT 点 。 
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证 明 第 一 和 第 二 个 条 件 分 唱 是 等 式 约 呆 条 件 式 (5.4.2) 和 不 等 式 约束 式 (5.4.3), 第 
三 个 条 件 即 是 式 (5.4.19)。 其 他 两 个 条 件 的 证 明 见 文献 [337]。 
在 运筹 学 文献 中 ， 常 称 e 为 原始 变量 (primal variables)， 称 A 为 对 偶 变 量 (dual 
variables). 
有 必要 指出 , 在 一 些 文献 (例如 文献 [157] 等 ) 中 , KKT 条 件 是 作为 定义 形式 给 出 的 。 
下 面 对 KKT 条 件 的 解释 57 有 助 下 进一步 理解 KKT 条 件 的 必要 性 。 
(1) 第 一 和 第 -- 个 KKT 条 件 称 为 可 行 性 , 表明 每 一 个 KKT 点 z* 都 是 可 行 点 。 
(2) 第 三 个 KKT 条 件 称 为 平稳 性 ,表明 每 一 个 KKT A oo, 相对 于 Lagrange 函数 
L(@,A) 的 = 都 是 平稳 点 。 
(3) 第 四 个 KKT 条 件 称 为 不 等 式 Lagrange 乘 数 向 量 的 非 负 性 , 表明 与 每 一 个 KKT 
点 ae 对 应 的 Lagrange RAAE A 的 每 一 个 分 量 必须 是 非 负 的 , 才能 保证 求 出 
HKK A(z) 有 可 能 在 点 en 取 极 小 值 。 
(4) 第 五 个 KKT 条 件 称 为 不 等 式 约束 的 互补 性 , 描述 了 在 每 一 个 KKT 点 rz。 不 等 
式 约束 条 件 læ) 与 Lagrange FAK 和 (i) 之 间 的 互补 关系 。 为 了 满足 互补 性 ， 
与 非 主动 约束 对 应 的 Lagrange FEMALE A 的 每 一 个 分 量 和 (i) MUMET SE, 
这 意味 着 目标 兄 数 f(x) 在 KKT 点 e. 的 梯度 必须 是 主动 约束 梯度 的 线性 组 合 ， 
即 


gle.) = [JAETA (5.4.25) 
AP, g(a.) = Vafl@lane REAREN fie) 在 KKT Ao, 的 梯度 向 
E, Jal) 代表 主动 约束 的 Jacobi HPE, A 表示 主动 约束 的 Lagrange Fe 
数 向 量 。 
需要 指出 的 是 , 满足 式 (5.4.25) 的 Lagrange 乘 数 向 量 可 能 有 很 多 ， 甚 至 无 穷 多 个 。 
因此 , 对 Lagrange 乘 数 向 量 , 还 需要 作出 进一步 约束 , 这 就 引出 了 可 接受 的 Lagrange H 
数 向 量 的 概念 。 
定义 5.4.3 [157 对 含有 等 式 约束 和 不 等 式 约束 的 最 优化 问题 ， 给 定 一 个 KKT 点 
Zr， 则 可 接受 的 Lagrange 乘 数 向 量 的 集合 定义 为 


Mla) E {AE R”: gles) = [JAE )]TA, Arz>0 和 orz)Oxz=0] (5426) 


AH, T 是 不 等 式 约束 oa.) > 0 的 指标 集合 ; Az 表示 向 量 和 z 的 各 个 元 素 大 于 成 等 于 
零 ; roy 表示 两 个 向 量 的 元 素 乘积 , 即 其 元 素 为 ww。 

定义 5.4.4 0571 第 i 个 不 等 式 约束 ole) > 0 称 为 在 KKT 点 w, 的 强 主动 约 来 
(strongly active constraint), 车 € A(z,)， 并 至 少 存在 一 个 Lagrange 乘 数 向 量 A. € My 
满足 AG) > 0。 类 似 地 ， 第 个 约束 称 为 弱 主 动 约束 (weakly active constraint), + 
i € Ale.) MA, = 0 对 所 有 A © M, 成 立 。 此 时 ,又 称 第 i 个 不 等 式 约 来 具有 一 个 
Lagrange FHP. 


302 第 5 章 梯度 分 析 与 最 优化 


5.4.2 ”局 部 解 的 二 阶 条 件 


KKT 条 件 给 出 了 约 来 最 优化 问题 局 部 解 的 一 阶 必 要 条 件 。 下 面 两 个 定理 分 乔 给 出 了 
局 部 解 的 二 阶 必要 条 件 和 一 阶 充分 条 件 。 
定理 5.4.2 (一 阶 必要 条 件 ) 假设 x 是 约束 最 优化 问题 的 局 部 解 , H HREL 
ARIE. SD, 是 满足 KKT 条 件 的 Lagrange RAE E 
fpes =0, YEE 
we F(A) d [Vae (ms) Tw =0, vie ANT, E A (i) >0 (5.4.27) 
[Vocile] Tw 20, Vie ANT, HA) =0 


则 
wWIVAL (ae, Aw >0, Vwe F(A.) (5.4.28) 
证 明 参见 文献 [337, pp.343~344]。 
定理 5.4.3 (一 阶 充 分 条 件 ) 假设 对 某 个 可 行 点 e. FE— Lagrange HY AM A. 
满足 KKT 条 件 。 若 
TV2C(z Aw > 0, Wwe FA.) (5.4.29) 
则 zw。 是 约束 最 优化 问题 的 严格 局 部 解 。 
证 明 参见 文献 [337, pp.345~346]。 
表 5.4.1 列 出 了 无 约束 和 有 约束 最 优化 问题 之 间 的 比较 。 


表 5.4.1 无 约束 最 优化 和 约束 最 优化 问题 的 比较 


类 型 无 约束 最 优化 约束 最 优化 
日 标 函数 f(z) F(x) 
> - alæ)=0, iEE 
ERAM # {8 20, ieZ 
Lagrange wii 无 Liz, A) = Faz)- > Acl) 
4EEUT 


Vella, As) =0 
eile.) =0, Vie E 


aii Vif(z)=0 a(s.) 20, Vie T 
一 阶 必要 条 件 Ai) 20, VieT 
A (Dale) =0, Vie EUT 
FERARI PTV2(z)z > 0 w'V2C(a,,A.)w 20 
一 阶 必 要 条 件 
FRANAK | mya rahe > 0 wTVEL(ee,Ax)w > 0 


MADEE 
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下 面 举 一 个 约束 最 优化 问题 的 例子 。 
例 5.4.1 令 复 值 观测 数据 向 量 由 


Y= T+ 
给 出 , 式 中 , a 为 标量 ; e 表示 一 确定 性 向 其 ; o 为 一 随机 噪声 向 量 , 具有 和 零 均值 向 量 、 协 
TASER R, = E{vvH}。 HS 


â = wy 
HHR & 是 木 知 参数 的 具有 最 小 方差 的 无 偏 估计 子 ( 称 为 最 优 线性 无 偏 估计 子 ), 求 最 
优 滤波 器 wo 
RW APS & 必须 是 无 偏 的 , 故 


E{ä} = E{w"y} = E{w" (ag + v)} = oF {we} = aws = a 


式 中 , 利用 了 确定 性 滤波 器 向 量 w 与 随机 噪声 向 量 w 正 交 。 由 上 式 得 约束 条 件 


wie =1 
无 偏 估计 子 的 方差 
var(â) = varftoHz) = var(w"v) = w"E{vo"}w = w R w 
于 是 ,最 优 线性 无 偏 估计 子 的 设计 准则 可 以 用 约 来 最 优化 问题 来 描述 : 
min w” Rw 
约束 条 件 为 woHz = 1。 利用 Lagrange RAGE, PRIA AROR H PRAM 
Liw, à) = wE Ryw + AC — ws) 
令 共 往 梯 度 为 零 向 量 , 有 


BEA) _ Ê wR w + hl — wiw)] =R,w-ìz=0 


ðw* Ow* 
得 w = Rye. 将 这 一 结果 代入 约束 条 件 , 得 wile = zHRyiz = 1, WE 
1 
A= Ra 
TH 有 i 
— Ryle 
w = ARF le = ZER e 


这 即 是 最 优 线性 无 偏 估计 子 的 最 优 滤波 器 。 
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5.4.3 ”线性 约束 的 消去 


除了 Lagrange REUE, 具有 等 式 约束 的 最 优化 问题 也 可 以 道 过 约束 条 件 的 消去 , 变 
成 一 个 无 约 来 的 最 优化 河 题 求解 。 


以 等 式 约 来 的 最 优化 问题 为 例 : 
min f(z1, 2, Ta, T4) 
约束 条 件 为 
£z + 22 — z473 = 0 
=r, +24 +23 =0 
显然 , 通过 令 


B= 24t03, 2, = T4T3 — T3 
USER HT AL EBERT PTR AE NE: 
min f (3,24) = f(T4 + 03, T423 ~ T3, Ts, 24) 
下 面 考 虑 具有 一 组 线性 等 式 约束 的 非 线性 范 数 的 最 优化 
”min ffz)j， BAZIRE Ax =b (5.4.30) 


XP, 4 是 一 个 mxn ER Hom <n. 假定 4 为 满 行 秩 矩 阵 。 在 这 一 假设 下 ,， 即 可 求 出 
4 的 和 个 线性 无 关 的 列 向 量 。 用 这 些 列 向 量 组 成 一 个 mx m 矩阵 B, TEM nxn E 
BOER P, 使 得 矩阵 4 经 过 列 旋转 后 ,其 前 面 m 列 线性 无 关 。 KAZ, 矩阵 BR AP 
的 前 m 列 ， 即 有 


AP =[|B,N] (5.4.31) 
RP, N 表示 矩阵 4 除去 其 m 个 线性 无 关 列 后 剩 下 的 n-m 列 。 
定义 于 向 量 £p E€ R” Alay eR”, 它们 由 


Pe = 加 | (5.4.32) 


给 出 。 式 中 ， 向 量 wp 和 矩阵 B 分 别称 为 基本 变量 (basic variables) AHER (basis 
matrix) (337,p.428] 。 注意 ,， 基 算 阵 与 由 基本 向 量 生 成 的 基本 人 算 阵 或 反映 初等 行 变换 的 基本 


矩阵 属于 不 同 的 概念 。 
由 于 置换 矩阵 满足 PPT =I, 故 可 将 线性 约束 条 件 Ax = b 改写 为 


b= Ax = AP(P" £) = Brg + Ney 


丁 是 , 基本 变量 zp 可 以 表示 为 
zp=B 'b— B Ney (5.4.33) 
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因此 , 满足 约 来 As = 五 的 可 行 点 就 可 以 用 下 列 方法 计算 : 选择 ww 的 任意 一 个 值 , 然后 
根据 式 (5.4.33) 得 到 ay. 现在， 等 式 约束 的 最 优化 问题 式 (5.4.30) 即 变 成 了 无 约束 的 最 
优化 问题 : 


min J(ey) Ef G p ve (5.4.34) 
Ty N 
式 (5.4.33) 称 为 变量 的 直接 消去 。 

上 述 讨论 897.7428) 表明 ,从 数学 的 观点 看 , 具有 线性 等 式 约束 的 非 线 件 最 优化 问题 
与 一 个 无 约束 的 最 优化 问题 是 相同 的 。 
5.4.4 ”线性 约束 的 二 次 规划 

现在 讨论 另外 一 种 常见 的 约束 优化 问题 。 在 应 用 中 , 经 常会 遇 到 下 面 的 等 式 约束 优 
化 门 题 ; 

min J(®) = jerce 十 ZTC (5.4.35) 

约束 条 件 为 
Azr=b (5.4.36) 


式 中 , A 十 mx n SBE. 假定 4 具有 满 行 秩 ( 即 rankA =m). I (5.4.35) 的 优化 问题 称 
为 线性 约束 的 二 次 规划 问题 。 
注意 , 矩阵 4 满 行 秩 的 假设 意味 着 等 式 约 来 Ax = b 中 的 m 个 约束 条 件 线性 无 关 。 
利用 Lagrange REGE, EX HRR 
qa) = eTGe +ald+ AT(b— An) 


则 由 de(x)/dx = 0 Al d¢(a)/dx = 0, 立即 得 联 立 方程 


e e-i pen 


RP, e 和 X* 分 别 表示 二 次 规划 问题 的 最 优 解 向 量 和 最 优 Lagrange RAHE. 
So 是 线性 约 来 Ar = b 的 任意 一 个 解 向 量 , 并 作 变 量 代 换 s, = wtp, WGK (5.4.37) 
可 以 等 价 写 作 
G A™|[- h 
e g- cam 
式 中 
c=4z-b h=d+Gz, pra -T (5.4.39) 
短 阵 
K= g a (5.4.40) 


称 为 Karush-Kuhn-Tucker (KKT) 矩阵 ， 而 式 (5.4.38) 称 为 KKT 方程 组 (KKT system). 

因此 , 等 式 约束 的 二 次 规划 问题 现在 转变 为 求解 KKT 方程 组 (5.4.38) 得 到 pe € = 
起 等 式 约束 As = 五 的 任意 一 个 解 向 基 , 则 等 式 约束 一 次 规划 问题 的 解 由 =. = at p H 
接 给 出 。 
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下 面 介绍 求解 KKT 方程 组 的 三 种 方法 : 秩 空间 方法 、 对 称 不 定 分 解 方法 和 零 空间 


方法 B37, pp.448~451) 。 


1， 秩 空间 方法 
如 果 KKT HER K RAHE G 均 韭 奇异 , 则 根据 分 块 短 阵 的 求 逆 公 式 ( 匈 1.7 节 )， 
可 以 求 出 KKT SEB AS ORE BE 


iS $] -e 引 (54.41) 


Ev F 
式 中 
C=G -GAT(AG IAT) AG! 
E=G7AT(AG AT)? 
= -(AGAT) 


TÆ, KKT FRA (5.4.38) 的 解 为 
网 -区 2 He alle 


p= -(Ch + Ec) (5.4.42) 


从 而 得 到 等 式 约 束 的 二 次 规划 问题 式 (5.4.35) 的 解 rz, = pte, 其 中 , z 是 等 式 约 来 方程 
Ag = 日 的 任意 一 个 解 向 量 。 

然而 , 计算 式 (5.4.4) 需要 矩阵 求 着 和 比较 多 的 和 矩阵 乘法 。 当 KKT NTE G 
非 奇 异 时 , 由 于 矩阵 4 满 行 秩 的 假设 , 易 知 AGAT 非 奇异 , 即 KKT RSH. 在 子 
矩阵 G EARR E 可 以 使 用 AG ER KKT 方程 组 的 第 一 个 方程 , 然后 再 与 第 
二 个 方程 相 减 , 即 得 


即 有 


(4G-L4T)X = (AG )h-e (5.4.43) 


利用 初等 行 变换 , 可 以 从 上 式 中 求 出 Lagrange FEA A. 接着 ， 又 可 以 利用 初等 行 变 
换 通 过 求解 KKT 方程 组 第 一 个 方程 的 变型 


Gp=A™,-h (5.4.44) 


恢复 p。 RTE NRA 7 P48), 
2 对称 不 定 分 解 方法 
二 次 型 ot Aw 既 可 能 取 正 值 ， 也 可 能 取 负 值 的 对 称 矩 阵 和 4 PRA ERE. A KKT 
SEPE K 不 定时 ， 可 以 对 其 进行 矩阵 分 解 : 
PTKP = LBL" ; (5.4.45) 
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SUH, P HEKER: DWAR PS AEE, B 是 一 个 块 对 角 气 阵 , 每 个 子 块 为 1x 1 矩阵 
或 者 2x2 HERE. R (5.4.45) 的 分 解 称 为 对 称 不 定 分 解 (symmetric indefinite factorization). 

HP® PT 分 别 左 乘 和 右 乘 式 (5.4.45) 西边 ， 并 利用 兽 换 矩阵 的 正 交 性 PTP = 
PPT = 了 , 可 以 将 对 称 不 定 分 解 式 (5.4.45) 写成 


K = PEBL™p™ (5.4.46) 
将 式 (5.4.46) 代入 式 (5.4.38), 即 有 


PLBLTPT [| = 加 (5.4.47) 


用 PT ERR (5.4.47) 两 边 , 得 


LBLTPT Ey =PT i (5.4.48) 
上 式 启迪 了 求解 KKT 方程 组 (5.4.38) 的 对 称 不 定 分 解 算法 如 下 。 
算法 5.4.1 (KKT 方程 组 求解 的 对 称 不 定 分 解 算法 ) PIT p448) 
步骤 1 按照 式 (5.4.40) 构造 KKT MM K, TR K 的 对 称 不 定 分 解 《有关 算法 可 
参考 文献 [337, Section 4.4]), 得 到 置换 矩阵 P, Bi PS ASEM L 和 块 对 角 和 矩阵 B. 
P82 RENE Ly = PT 人 | aeaa y 
PRS 求解 方程 BY =y BH gy. 
FR RRHE Lg =p GE g 
PRS KKT 方程 组 的 解 为 


|= Pa 


最 后 ,通过 求解 约束 方程 4z =b, 得 到 任意 一 个 解 向 量 a, 则 等 式 约束 的 二 次 规划 
问题 式 (5.4.35) 的 解 由 ee =e 十 了 给 出 。 

3， 零 空间 方法 

AEM: Z 是 满足 AZ =O 的 解 , 即 Z = Span(Z) = Null(4) 是 4 的 零 空间 。 因 此 ， 
给 定 m x n 矩阵 4， 则 可 以 利用 奇异 值 分 解 ， 得 到 张 成 零 空间 Null(4) 的 一 组 基 向 量 ， 


CHER n x {n 一 mm) JERE Ze 
选择 一 个 nxm HERE Y , 使 得 nxn 矩阵 Y, Z] 非 奇 异 。 考 虑 将 KKT 方程 组 (5.4.38) 


中 的 向 量 p 分 解 为 


p=Ypy + Zpz (5.4.49) 
HERA KKT 方程 组 (5.4.38) 的 第 二 个 方程 ， 并 注意 到 AZ =O, 立即 得 


(AY)py = -ce (5.4.50) 
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ETRE m x n 矩阵 A 满 行 秩 , 即 rank(4) =m, JFE n xn ER [Y, 2] FAR, 故 有 
A[Y, Z] = [AY, 0] 的 秩 为 m。 这 意味 着 mx m 矩阵 AY 非 奇异 。 因此， 可 以 求 出 
py = —(AY) le (5.4.51) 
另 一 方面 , 将 式 (5.4.49) RAA (5.4.38) 的 第 一 个 方程 , 又 有 
-GY py —GZp,+A™ =h 
用 ZT AREY, 得 到 
(ZTGZ)pz = — (2°GY py + 27h) (5.4.52) 
车 假定 矩阵 ZTGZ 正定 ,， 则 道 过 求解 式 (5.4.52) 得 到 pz 进而 得 到 p= Ypy + Zpz. 
求解 KKT 方程 组 (5.4.38) 的 上 述 三 种 方法 的 比较 如 下: 
(1) 秩 空 间 方法 需要 假定 矩阵 G ETR: . 
(2) 对 称 不 定 分 解 适用 于 和 矩阵 G 奇异 的 情况 , 但 KKT 矩阵 K 的 对 称 不 定 分 解 是 
一 个 关键 问题 ; 
(3) 零 空间 方法 也 适用 于 G 奇异 的 情况 ,但 需要 选择 矩阵 Y 使 得 [Y, 2] 非 奇 异 ， 
并 且 需 要 假设 ZTG2 正定 。 
正面 举 一 个 和 矩阵 最 优 低 秩 逼 近 的 经 典 例 疗 It401， 说 明 如 何 将 矩阵 微分 应 用 于 求解 约 
束 最 优化 问题 。 
令 X 是 一 个 已 知 的 mxn BE, 其 秩 rank(X) = re 现在 希望 求 一 个 n xr HEE 4 
和 一 个 m x r 矩阵 Z 是 下 烈 约束 最 优化 问题 的 解 : 
min f(A, Z) = tr (x — ZAT)(X— 24")) (5.4.53) 
约束 条 件 为 ATA =I. 
令 工 是 一 个 + xr Lagrange FAURE, JFL Lagrange HK 
J(A,2, 5) = zt (CX - ZATX - 2a) - Str (L(AAT — 1) (5.4.54) 
以 矩阵 A 和 Z 作为 独立 变 元 , RK Lagrange 函数 的 第 一 种 微分 , 得 
d,(J(A, Z, £) = tr (x ~ ZAT)d(X - ZAT)") 一 zt (r104) a + ATa4]) 
=-tr (x - za™a(az)") -tr (x 一 ZAT)(dA)ZT) 一 
tr(LATdA) 


=-tr (x ~ZA")A(dZ)7) — (27x 一 ZTZL4T 十 LAT)dA) 
(5.4.55) 


由 此 得 梯度 矩阵 


BJA BL) _ L gama)" 
er = (x 2A™)A) 
OJ(A,Z,L) Ty gl gat TYT 
一 (ZX ZTZA +A) 
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SENS FSM, 即 得 
(X~-ZA™)A=O (5.4.56) 
Z°X-Z°ZA"|}LAT=O (5.4.57) 
以 Lagrange 乘 数 托 阵 上 作为 独立 变 元 . 又 可 求 得 Lagrange 前 数 的 第 一 种 微分 
d,(J(A, Z,L)) = -(474 一 站 


由 此 得 梯度 矩阵 KAZE) 
E = ATA 
SRST SAM. WA 
ATA=I {5.4.58) 
即 4 是 一 个 半 正 交 和 矩阵。 
由 式 (5.4.56) 和 式 (5.4.58) 得 
Z=XA (5.4.59) 


用 A GRA (5.4.57) 两 边 , 再 利用 式 (5.4.58) AIK (5.4.59), 得 = Z7Z-Z™XA=O0. 
因此 , st (5.4.57) 可 以 写成 
(XTXJA = A(ATXT XA) (5.4.60) 
令 ATXTXA 的 特征 值 分 解 为 
QT(ATXTXA)Q = E (5.4.61) 
RP, Q 为 "xr ERK, SW rx HAEE, CAR THEE ATXTXA 的 特征 值 。 
AHS P= AQ, WR (5.4.61) 可 以 写作 
PT(XTX)P=3 (5.4.62) 
由 于 PTP = QTATAQ = I, RH (5.4.62) RV, WHAM S 的 元 素 实 际 上 就 是 矩阵 
XX 的 > 个 特征 值 。 
现在 将 Z = XA RASH f(A, Z) 得 
f(A, Z) = tr (x -ZATX- ZAT)T) = tr(X7X) — tr(Z) (5.4.63) 
显然 ,为 了 最 小 化 f(A, Z) ROS (2) 最 大 化 。 REZ, HAERE YM > 个 元 素 
必须 是 矩阵 XTX 的 + 个 最 大 特征 值 。 此 时 , 式 (5.4.62) 中 的 矩阵 P h XTX 与 这 些 特 
征 值 对 应 的 ~ 个 主 (要 ) 特征 向 量 组 成 。 

H P= AQ A, 任何 满足 4 = PQT 的 矩阵 A 都 可 以 使 得 Z= XA 最 优 逼近 已 知 
矩阵 X, 其中, Q 是 > xy 任意 正 交 矩阵 。 为 简单 计 ,， $ Q@ = 了, WER AH nxn HE 
E XTX 的 > 个 ”xl 主 特征 向 量 组 成 时 , Z= XA 是 X HRE, FHAR 
化 函数 F(A, Z) 的 最 小 值 等 于 矩阵 XTX AY nr 个 小 特征 值 之 和 。 这 一 逼近 方法 称 为 
SERRES, Æ Eckart 与 Young 于 1936 年 得 到 的 0), 
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5.5 梯度 算法 


5.1 他 和 5.3 节 分 别 分 析 了 梯度 、 共 轿 梯度 与 无 约束 最 优化 问题 的 局 部 解 之 间 的 关 
Re 5.4 又 讨论 了 约 来 最 优化 问题 求解 的 一 般 理论 。 从 本 节 起 ， 我 们 将 转 入 求解 最 优化 问 
题 的 具体 算法 。 


5.5.1 ”统计 远近 法 


以 自 适应 滤波 利 系统 辨识 为 讨论 对 象 ， 估计 一 个 未 知 装置 或 设备 的 模型 参数 ， 以 给 
出 有 关系 统 动态 特性 的 足够 信息 。 假 定 系统 模型 可 以 用 差分 方程 描述 ， 


M-11 

y(n) = > guln- i) + vln) (5.5.1) 
AP, u(n) 和 y(n) SRIRAM, ABE ARLEN: coli) i= 0,1,…,M 一 1 
表示 系统 模型 参数 ; v(n) 代表 系统 的 加 性 扰动 或 噪声 , EAA AL AI A RE ARTT RR 
假定 系统 模型 的 阶 数 M 已 知 , 现在 希望 设计 一 个 M NEE, HBB wi) 使 

得 滤波 器 的 输出 
An) = > or 人 an 一 让 = wun) (5.5.2) 

i=0 


能 够 通 近 实际 系统 的 期 望 输出 〈 即 无 干扰 或 噪声 的 输出 )。 式 中 


w = [w(0),w(1), ,woM — DT (5.5.3) 
u(n) = [u(2),u(n -1),--- ,un ~ M+ (5.5.4) 
定义 误差 信号 
e(n) = x(n) ~ Gln) = y(n) — w”u(n) (6.5.5) 
希望 设计 滤波 器 抽 头 系数 ww;,i 二 0,1,… ,MM 一 1， 使 得 均 方 误差 最 小 化 , 即 
min J(w) = Ef{|e(n)|?} = E {lv 一 au (5.5.6) 
HARIR 
Vw J(w) = aoe {iu = w™u(n)] Ben -wsuoj } 
= gig EXly(n)P} + w" Efufu" (n) jw- 
wEf{y*(nju(n)} — wTE{y(n)ee*(n}}] 
即 有 


Ver J (w) = E{fu(na)aE(m)jas — Efy*(n)u(n)} = Ry -r (5.5.7) 
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S VwJ(w) = 0, 便 得 到 


Wop, =Æ r (5.5.8) 

式 中 
R= E{uln)u"{n)} (5.5.9) 
r = E{y*(nju(n)} (5.5.10) 


式 (5-5.8) 定义 的 滤波 器 称 为 Wiener 滤波 器 。 从 均 方 误差 最 小 的 意义 讲 ，Wiener 滤 
波 器 十 最 优 的 。 

由 于 涉及 数学 期 望 ， 式 (5.5-6) 定义 的 最 小 化 问题 称 为 统计 最 优化 (stochastic opti- 
mization) HÆ [302841268 。 在 实际 应 用 中 , 不 可 能 获得 信号 u(n) 的 真实 自 相关 矩阵 R 
以 及 y(n) 与 wm) 之 间 的 真实 互相 关 向 量 "。 因 此 , 实际 的 最 优化 问题 通常 取 作 


N 
min Jy (w) = x yin) — wHa(n)|? (5.5.11) 
n=l 


由 于 不 涉及 数学 期 望 运 算 , 上 述 最 优化 问题 称 为 确定 性 最 优化 (deterministic optimization) 
问题 。 确 定性 最 优化 问题 式 (5.5.11) 可 视 为 统计 最 优化 问题 式 (5.5.6) 的 逼近 ， 故 也 称 
统计 通 近 最 优化 问题 。 求 解 这 个 问题 的 方法 称 为 统计 逼近 法 (stochastic approximation 
method}. 

对 一 个 固定 的 数据 长 度 N 求解 统计 蜗 近 最 优化 问题 式 (5.5.11) 的 方法 称 为 非 递 扒 
型 统计 逼近 法 , 是 一 种 批 处 理 方法 。 在 白 适 应 滤波 和 系统 辨识 中 ,数据 长 度 N 是 动态 增 
加 的 , 希望 对 每 一 个 时 刻 , 求解 统计 副 近 最 优化 问题 式 (5.5.11)。 这 样 一 种 方法 称 为 递 推 
型 统计 逼近 法 , 是 -- 种 在 线 处 理 方法 。 

下 降 法 是 最 简单 的 递 推 型 统计 逼近 法 , 采用 递 推 公式 


w(n) = win — 1) + p(n)pin) (5.5.12) 


即 沿 方向 向 量 p(n) 更 新 得 到 n 时 刻 的 滤波 器 权 向 量 w(m)。 BRR RAS 
梯度 -Yu J(wtn ~ 1) 作为 方向 向 量 p(n)。 相 应 的 算法 为 


w(n) = w(n 1) — u(r) Ver {win — 1)) (5.5.13) 


称 为 梯度 法 或 最 陡 卜 降 法 。 
为 了 改善 梯度 法 的 性 能 ，Newton 法 使 用 矩阵 Q(n) 对 共 轧 梯度 向 量 进行 加 权 ， BI 


w(n) = wn — 1) — pn)Qm) Vw Twn — 1) (5.5.14) 


加 权 和 矩阵 Qin) 最 典型 的 选择 为 Hessian 矩阵 (代价 函数 共 醒 梯度 的 梯度 ) VJ (wn 
1) = Varro ASHER, 即 
win) = wn ~ 1) ~ pln) (Vw ln — 1))] * Vo Jwa- 1)) (5.5.15) 
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其 日 的 是 迫使 校正 方向 V7(w(n 一 1)) 指向 代价 函数 的 极 小 点 。 
WR Hessian HE V77(w(n 一 1)) 不 是 正定 的 或 奇异 时 , 可 以 通过 加 扰动 项 (也 叫 松 
弛 项 ) 67 使 矩阵 V2Jtw(n — 1)) + dF 可 道 , 即 递 推算 法 变 为 
w(n) = win — 1) - u(n) [V? Jawn ~ 1)) + srj Ver J(w{n — 1)) (5.5.16) 
式 中 , 5 > 0 是 一 个 比较 小 的 数 。 这 一 算法 称 为 Levenberg-Marguardt 算法 。 
当 Hessian 矩阵 难于 计算 时 ,可 以 用 另 一 个 第 阵 A(n) 逼近 Hessian JERE, 得 到 的 递 
推算 法 为 


wn) = win — 1) ~ nA nV Twn — 1)) (5.5.17) 


这 就 起 所 谓 的 拟 Newton 法 。 
如 上 所 述 , 最 陡 下 降 法 、Newton 算法 、Levenberg-Marguardt 算法 和 拟 Newton 算法 


ECM A ORIG (R) Hessian MRE» 
5.5.2 LMS 算法 及 其 变型 
将 式 (5.5.7) 中 的 数学 期 望 项 用 瞬时 值 代替 ， 得 到 的 梯度 估计 值 称 为 瞬时 梯度 (in- 
stantaneous gradient)， 即 有 
VJ (w(n — 1)) = u(n) [y*(n) ~ u" (njw(n - 1)] = -e" (nuin) (5.5.18) 


式 中 
e(n) = y(n) — w {n — 1)u(n) (5.5.19) 
称 为 先 验 估计 误差 , 因为 它 是 由 n — 1 时 刻 的 滤波 器 权 向 量 w{n 一 1) 计算 得 到 的 误差 。 
将 式 (5.5.13) 中 的 真实 梯度 用 瞬时 梯度 代 伏 后 , 即 可 将 最 陡 下 降 法 写作 
w(n) = w(n ~ 1) + p(nje*(nju(n) (5.5.20) 
这 就 是 著名 的 最 小 均 方 【least mean-squares) 自 适应 算法 ， 简 称 LMS FIA. AP, p(n) 
称 为 LMS 算法 的 步 长 (step size) RIEZ (learning rate)。 当 p(n) = p 取 常 数 时 , R 
(5.5.20) 给 出 基本 LMS MIE, EAL Widrow 与 Hoff 于 1960 年 提出 的 的 引 。 
穿 易 验 证 ， 瞬 时 梯度 向 量 是 真实 宰 度 向 量 的 无 偏 估计 ， 即 有 
E(VJ(n — D} = —E{u(n)ly*(n) — u" (njw(n — 1)]} 
= -ir - Rw(n —1)} 
= VJ(w(n — 1)) (5.5.21) 
瞬时 梯度 的 这 一 无 偏 性 揭示 了 LMS 算法 与 最 陡 下 降 法 之 间 的 区 别 与 联系 : 
(1) 最 陡 下 降 法 使 用 真实 梯度 的 负 方 向 作为 搜索 方向 。 因 此， 算法 的 每 一 步 更 新 邦 
是 目标 函数 WARE) 减 小 的 方向 。 
(2) LMS 算法 使 用 瞬时 梯度 作为 搜索 方向 , 因此 不 能 保证 每 一 步 更 新 都 是 自 标 消 数 
减 小 的 方向 。 但 是 ， 由 于 姐 时 梯度 的 数学 期 望 等 于 真实 秒 度 ,所 以 LMS 算法 总 
的 更 新 趋势 是 使 目标 函数 极 小 化 。 
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既然 LMS BAe BREESE BA Reh Bh, 那么 自然 希望 LMS 算 
FREE ATR PE UR PETES. BA, ~~ ESE RACE EI AR 
差 增 加 的 情况 , 瞬时 梯度 之 间 的 线性 相关 性 就 有 可 能 使 得 均 方 误差 增加 的 情况 得 不 到 及 
时 纠正 ， 其 至 愈演愈烈 。 

另 一 方面 , 由 于 瞬时 梯度 由 —e*(nju(n) 给 出 , 所 以 瞬时 梯度 向 量 的 线性 无 关 性 要 求 
可 以 等 价 叙述 为 : 不 同时 刻 的 滤波 器 输入 信号 向 量 w(n) 线性 无 关 。 这 就 是 LMS 白 适 应 
算法 对 输入 信号 向 址 的 线性 无 关 性 要 求 。 
` 面 讨论 LMS 算法 的 实现 与 改进 。 

L 学习 速 率 的 选择 

LMS 算法 中 的 步 长 参数 u 决定 滤波 器 权 向 量 在 每 步 选 代 中 的 更 新 量 天 小 ， 是 影响 
算法 收敛 速率 和 跟踪 性 能 的 关键 参数 。 由 于 LMS 算法 的 目的 起 在 更 新 过 程 中 使 滤波 器 
权 向 量 逼 近 Wiener 滤波 器 , 所 坟 权 向 量 的 更 新 过 程 可 以 视 为 一 种 学 习 过 程 ， 而 A 决定 
LMS 算法 学 习 过 程 的 快慢 。 从 这 个 意义 上 讲 , 步 长 参数 jy 也 称 学 习 速 率 参数 。 

基本 LMS 算法 的 收敛 可 分 为 均值 收敛 与 均 方 收敛 两 种 P, 

(1) 若 LMS 算法 更 新 的 权 向 基 的 均值 收敛 为 Wiener 滤波 器 , BI 


jim, E{w(n)} = wope (5.5.22) 
则 称 LMS 算法 是 均值 收敛 的 。 此 时 , 学 习 速率 的 选择 必须 满足 条 件 202 


O<p< = (5.5.23) 
FAB, Ane 是 滤波 器 输入 的 自 相关 和 矩阵 R= E{u(n)u"(n)} 的 最 大 特征 值 。 
(2) LMS FERAIS EERE n ATEAK, AES e(n) = 
y(n) 一 wRE(n)u(n) ITERS A — OB 
lim, Efile} =e (5.5.24) 


RP, e 为 一 正 的 常数 。 此 时 , 学 习 速 率 必 须 满足 条 件 071 


2 
O<pc 去 可 (5.5.25) 


式 中 , tr(R) ATER R 的 迹 。 
2，LMS 算法 的 改进 
考虑 下 面 的 约束 最 优化 问题 ne5 


mn lw(n) ~ wln — Dl (5.5.26) 


约束 条 件 为 
w* (nju(n) = d(n} (5.5.27) 
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使 用 Lagrange REGAR, G 和 X Lagrange RA, 目标 函数 为 


Hw) = lwn) — win — DIB + Aw Eun) ~ d(n)] {5.5.28) 


FN = gg mtn) — wen Po) ~ soln DIA aua) — dfn) 
=w(n) — w(n— 1) + Au(n) =0 

得 

w(n) = w(n = 1) — Aufn) (6.5.29) 
将 式 (5.5.29) 代入 约束 条 件 (5.5.27), 立即 有 [wH(n — 1) — A*u" (n)u(n) = d(n), 从 而 得 
Lagrange FAtr 
2 ein) 
(um 
将 此 Lagrange 乘 数 代入 式 (5.5.29) 后 , 立即 得 到 LMS 算法 的 改进 形式 为 


u(n) 


wn) = w(n-1)+ He" ae (5.5.30) 


由 于 wis EIDBO 1 的 向 量 , 故 算法 (6.5.90) 称 为 归 一 化 LMS 算法 , 简称 NLMS 
算法 , 是 Goodwin 和 Sin 085] 得 到 的 。 
一 种 数值 稳定 伯 比 NLMS 算法 更 高 的 改进 算法 是 功率 归 一 化 LMS 算法 ,其 学 习 玉 


率 为 po 


Am = EU On a€ (0,2), 820 (5.5.31) 


式 中 ， a 是 一 个 松弛 参数 , 取 A > 0 可 以 保证 上 式 分 母 不 等 于 堆 。 
功率 归 一 化 LMS 算法 的 一 种 变型 为 PERNES) a2 


a (5.5.32) 


RH, O<a< a (M 是 滤波 器 的 阶 数 )，o2 表示 滤波 器 输入 信号 un) 的 方差 , 可 由 


o2(n) = Mo2(n — 1) + e(n) (5.5.33) 


AEH, 这 里 Ae (0, 1] 为 遗忘 因子 。 


5.5.3” 解 相关 LMS 算法 

如 前 所 述 , 在 LMS 算法 中 , 要 求 不 同时 刻 n 的 零 均值 输入 信和 号 向 其 uin) 线性 无 关 。 
如 果 这 一 条 件 不 满足 , 基本 LMS 算法 的 性 能 将 明显 下 降 , 凤 收 但 速度 变 悍 , 且 跟 踪 性 能 
变 差 。 因此 , 在 这 种 情况 下 , 就 需要 解除 各 时 刻 输入 信和 号 向 量 之 间 的 相关 性 (这 一 过 程 称 
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为 “ 解 相 关 ”)， 使 它们 尽 可 能 保持 统计 不 相关 。 大 基 的 研究 表明 (文献 [175| 及 其 中 有 关 
参考 文献 ), 解 相关 能 够 有 效 地 加 快 LMS 算法 的 收敛 速率 。 
1.， 时 域 解 相 关 LMS 算法 
定义 wm = [u(n),u(n — 1) un M+ DT 5 ulna- 1) = ln - 1), uin — 
2),… u(r 一 MT E n 时 刻 的 相关 系数 为 


les H -1 
ota) # O 6530 


显然 , a(nyu(n—1) RET uln) 中 与 wln- 1) 相关 的 部 分 。 若 从 w(n) 中 减 去 该 部 分 , 则 
这 一 减法 运算 相当 于 “ 解 相关 ”。 现 在 ,用 解 相 关 的 结果 作为 更 新 方向 向 基 p(n), W 


p(n) = u(n) — a(nju(n — 1) (5.5.35) 
另 一 方面 , 步 长 参数 wn) 应 该 是 满足 下 列 最 小 化 问题 的 解 : 


p(n) = arg min Jlw(n — 1) + upin) (5.5.36) 


由 此 得 
pin) = mE (5.5.37) 
综合 以 上 结果 , 可 以 得 到 解 相关 LMS 算法 如 上 [1271。 
算法 5.5.1 ( 解 相关 LMS 算法 ) 
步骤 1 初始 化 

ao(0) =O: 
步骤 2 对 n=1,2,…，, 计算 

e(n) = y(n) — wim — 1)utn) 

pin) = u(n) — a(nju(n — 1) 


pe(n) 
HO”) = Tata) 


w(n) = wn — 1) + w(n)p(n) 

上 述 算法 中 ， 参 数 p 称 为 修整 因子 (trimming factor). 

解 相关 LMS 算法 可 视 为 一 自 适 应 辅助 变量 法 ， 其 中 , 辅助 变量 为 方向 向 量 p(n) = 
u(n) —a(n)u(n 一 1)。 辅 助 变量 的 选择 原则 大 : 使 得 各 时 刻 的 方向 向 量 正 交 。 下 面 证 明 ， 
前 向 预测 器 的 误差 向 量 就 是 这 样 一 种 辅助 变量 。 

S a(n) 为 一 个 M 阶 前 向 预测 器 的 权 向 量 , 其 前 向 预测 误差 为 


ef(n) = u(n) + £ a;(n)u(n — i) = u(n) + a¥(n)u(n — 1) (5.5.38) 


1 
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式 中 
型 (有一 1) 一 [am 一 Team 一 2 一 MTT 
a(n) = [at(m a(n) am (n) 

式 (5.5.38) 表明 ， 原 米 统计 相关 的 滤波 器 输入 信号 u(n) 被 拟 合 为 一 个 自问 归 (AR) 
过 程 , 其 激励 ef (rn) 是 统计 不 相关 的 。 如 果 使 用 这 种 统计 不 相关 的 前 向 预测 误差 向 其 作 辅 
助 变 量 ( 即 更 新 方向 向 量 )， 便 得 到 

p(n) = e (n) = [ei(n),et(n —1),--- ,en— M+ (5.5.39) 
由 于 e(n) 之 间 的 统计 不 相关 ， 使 得 方向 向 量 满足 下 交 性 些 求 。 

但 是 , 由 于 瞬时 估计 误差 e(n) = y(n) — w3(n - Iuin) 使 用 统计 相关 的 输入 信 革 向 
E u(n) 得 到 , 所 以 etn) 也 应 该 被 变换 成 统计 不 相关 的 变量 。 最 简单 的 方法 就 是 使 用 前 
向 预测 器 a(n) 对 en) 进行 滤波 。 这样 得 到 的 自 适应 滤波 算法 称 为 滤波 型 LMS 算法 。 

算法 5.5.2 (滤波 型 LMS 算法 ) [305] 

SRL 初始 化 

w(0) = 0; 

步骤 2 对 n=1,2,-…， PEWS a(n) 的 估计 , 计算 

eln) = y(n} — w™(n — Duln) 

eln) = [e(n),e(n — 1 ,en — M+ DIT 
e(n) = u(n) + al(nju(n — 1) 

ef(n) = [ef(n), ef(n - 1),--- ,e&(m —M+1)]7 
a(n) =e(n) 二 aN(n)je(tn)  QEW) 

w(n) = win — 1) + pel (n}é(n) 

2. 变换 域 解 相 关 LMS 算法 

改进 LMS 算法 性 能 的 早期 工作 是 对 输入 数据 向 量 w(n) 使 用 西 变换 。 对 某 些 类 型 的 
输入 信号 , 使 用 西 变 换 的 算法 可 以 提高 收敛 速率 , 而 计算 复杂 度 却 与 LMS 算法 类 似 。 这 
类 算法 以 及 它们 的 变型 统称 变换 域 白 适应 滤波 算法 [391327276].[813,[81,4。 

西 变换 可 以 使 用 离散 Fourier 变换 (DFT)、 离 散 余 咳 变换 (DCT) 和 离散 Hartley Æ 
换 (DHT), 它们 都 可 以 有 效 地 提高 LMS 算法 的 收 敏 速率 。 

令 5 是 一 个 Mx M 酉 变换 矩阵 , W SS" = BI, RP, 8 > 0 为 一 固定 标量 。 

HEER 5 对 原 输入 数据 向 基 e(n) 进行 西 变 换 , 得 到 

u(n) = San) (5.5.40) 
AURIS SA FD BEE a(n). A, PETAR DHE win- 1) 变 为 


b(n -1) = 35min 一 也 (5.5.41) 


5.6 iim )b— RMF 317 


它 就 是 我 们 需要 更 新 估计 的 变换 域 自 适应 滤波 器 的 权 向 量 。 
因此 , 原 预 测 误 莽 e(r) = y(n) -wn 一 1)w(n) 可 改 几 变换 后 的 输入 数据 向 量 a(n) 
和 滤波 器 权 向 量 w(n -1) 表示 , 即 


eln) = y(n) ~ tin — 1)u(n) (5.5.42) 


将 变换 前 的 输入 数据 向 量 e(n) 和 变换 后 的 输入 数据 向 量 u(n) 比较 知 , REHE eg at 
WITCH x(n 一 ?+ 1) 的 移 位 形式 , 它们 相关 性 强 , 而 u(n) = [u (2), un) ,war (nT 
的 元 素 则 相当 于 M 信道 的 信号 ,可 以 期 望 , 它们 具有 比 原 信号 e(n) 更 弱 的 相关 性 。 换 
言 之 , 通过 西 变换 , 在 变换 域 实现 了 某 种 程度 的 解 相关 。 从 滤波 器 的 角度 讲 , 原来 的 单 信 
道 M 阶 FIR 横向 滤波 器 变 成 了 等 价 的 多 信道 滤波 器 , 而 原 输入 信号 wln) 则 等 价 通过 一 
含有 M 个 滤波 器 的 滤波 器 组 。 

总 结 以 上 分 析 , 很 容易 得 到 变换 域 解 相关 LMS 算法 如 下 。 

算法 5.5.3 (变换 域 解 相关 LMS 算法 ) 

步骤 1 初始 化 

(0) = 0: 
FPR? 给 定 一 西 变换 矩阵 S, 对 n=1,2,…, 计算 
u(n) = Sx(n) 


e(n) = y(n) — "(n — uln) 
wn) = (n — 1) + p(nju(nje(n) 
特别 地 , 若 酉 变换 采用 DFT, 则 变换 后 的 输入 数据 向 量 wln) RAAS E a(n) 
的 滑动 窗 Fourier 变换 。 这 表明 , 被 估计 的 权 向 量 (k) 是 时 域 滤波 器 w(n) 的 频率 响应 。 
因此 , 可 以 说 , 白 适应 发 生 在 频 域 , 即 此 时 的 滤波 为 频 域 白 适应 滤波 。 


5.6 ” 递 推 最 小 二 羔 算 法 


上 节 讨 论 了 使 用 确定 性 最 优化 问题 式 (5.5.11) 逼近 统计 最 优化 问题 式 (5.5.6) 的 梯度 
算法 。 与 均匀 加 权 的 确定 性 最 优化 问题 式 (5.5.11) 不 同 。 本 节 考 虑 使 用 指数 加 权 的 确定 
性 最 优化 问题 


min J, (w) = 立 mileti = SLAP [ys - wnat)? (5.6.1) 
i=0 


i=0 


式 中 , 0 < 入 < 1 称 为 遗忘 因子 。 指 数 加 权 的 目标 活 数 Jalo) 的 梯度 为 


se old — wimp} 


= R(n)w(n) — r(n) (5.6.2) 
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式 中 
Rin) = > tard) eA) (5.6.3) 
i=0 
rín) = 5 Mr) (5.6.4) 
i=0 


根据 5.4 AMARTA RR RES, 无 约束 的 指数 加 
权 确 定性 最 优化 问题 式 (5.6.1) 的 局 部 解 由 9(n) = 0 给 出 。 于 是 , 由 式 (5.6.2) 得 


win) = R ln)r(n) (5.6.5) 
事实 上 , 式 (5.6.5) 也 可 以 从 Newton 算法 公式 (5.5.15) 得 到 。 由 式 (5.5.7) 4 


Vi(w(n - 1) = Raom-D-rm， V2(w(n -1)) = Rin) 


9 此, 若 在 Newton 算法 公式 (6.5.15) 中 取 p(n) = 1, 并 将 上 述 梯度 和 Hessian 矩阵 代入 ， 
则 有 


w(n) = wn 1) - R '{n)[Rinjw{n — 1) — r(n}] = BR {n)rin) (5.6.6) 
这 恰好 就 是 式 (5.6.5)。 

式 (5.6.5) 可 以 用 时 间 递 推 的 方式 求解 , 得 到 的 算法 称 为 递 推 最 小 二 乘 (recursive least 
squares, RLS) 白 适 应 算法 。 由 于 式 (5.6.5) 与 Newton 算法 公式 (5.5.15) 等 价 , 所 以 RLS 
算法 实际 上 是 一 种 Newton 算法 。 

ZE w(n) 的 时 间 递 推 。 由 和 白 相关 和 矩阵 Rin) 和 互相 关 向 量 r(n) 的 定义 易 知 

R(n) = AR(n — 1) + e(n)a (5.6.7) 
r(n) = Ar(n—1) + en)y (n) (5.6.8) 


对 式 (5.6.7) 使 用 矩阵 求 逆 引 理 ， 可 得 到 道 答 阵 P(n) = R (n) 的 递 扒 公式 为 


1 Pin - helmet {n)P(n-— 1) 
Pm) =X [e (nD Tf) P(e -jela 


= 2 [Pin-1) -ketin 1] 6.6.9) 
At, k(n) 称 为 增益 向 量 , 定义 为 
P(n— ija(n) 
kin) = Sah) Pin ula) (6.6.10) 


利用 式 (5.6.9) 不 难 证 明 
P(n)a(n) = ; [Pin ~ De(n) - k(n)e#(n) Pla ~ Yatn)} 
= ; {D +s" (n) Pn — la(n)] k(n) — k(n) (n)P(n -1Dz(o 


=k(n) (5.6.11) 
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另 一 方面 , 将 式 (5.6.7) 和 式 (5.6.8) 代入 式 (5.6.5), 又 有 
w(n) =R (n)r(n) = P(n)r(n) 
= A [P(n — 1) — k(nja" (n) P(n — Dr — 1) + y° (njæ(n)] 
=P(n-1}r(n—1)+ ive) [Pin ~ 1u(n) ~ kina” (nn) Pn ~ Te(n)] 一 
R(nja(n) P(n — Lr (n — 1) 


将 式 (5.6.11) 代入 上 式 ， 即 可 得 到 
w(n) = w(n — D+ (n)k(n) — k(n)e(n)w(n — 1) 
经 化 简 后 , 得 
w(n) = wn — 1) +k(n)e*(n) (5.6.12) 
式 中 
e(n) = y(n) — £T (n)w"(n — 1) = y(n) - w™{n — 1)æ(n) (5.6.13) 
称 为 先 验 估计 误差 。 SIAR, eln) = y(n) ~ wi (n)e(n) 称 为 后 验 估计 误差 。 
综 上 所 述 , 得 到 RLS 自 适应 算法 如 上。 
算法 5.6.1 (RLS 白 适 应 算法 ) 
FR g 
af0) = 0，P(0) =, 5 是 一 个 很 小 的 值 
步骤 2 对 n=1,2,…，, 计算 
e(n) = d(n) — wiHn — tjen) 


Pln— Dzr(n) 
kin) = 5S aan) Pn — etn) 


P(n) = ; [Pin -1) - kine" (n) P(x —1)] 
w{n) = wn — 1) + k(n)e” (n) 
在 RLS 算法 中 ,需要 使 用 初始 值 P(0) = R-:1(0)。 在 非 平稳 情况 下 ,此 初始 值 由 下 
式 决 定 : 


-1 
0 
P(0) = R71(0) = | 5 tonto] (5.6.14) 


i= n 


因此 , 自 相关 矩阵 的 表达 式 (5.6.3) 变 作 


Ren) = YDA aO + RO) (6.6.15) 
i=l 


由 于 A 的 遗忘 作用 , 白 然 希望 RO) 在 式 (6.6.14) 中 起 的 作用 很 小 。 考 虑 到 这 一 点 , 不 妨 
用 一 个 很 小 的 单位 矩阵 来 近似 (0), 即 
RO) = 67， 6 是 一 很 小 的 正 数 (5.6.16) 
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因此 ，P(0) 的 初始 值 由 下 式 给 出 : 
也 (0) =U, 6 是 一 很 小 的 正 数 . (5.6.17) 


这 就 是 为 什么 在 筑 法 5.6.1 中 初始 值 取 P(0) = 56717 (6 很 小 ) 的 理由 。 

现在 已 经 形成 了 一 个 广泛 的 共识 : RLS 自 适应 算法 的 收敛 速率 和 跟踪 性 能 均 优 于 
LMS 自 适应 算法 , 所 付出 的 代价 是 需要 更 复杂 的 计算 。 此 外 , 由 村 使 用 逆 窍 阵 的 递 推 , 所 
以 当 泪 波 器 的 输入 信号 的 白 相关 矩阵 接近 奇异 时 ，RLS 算法 的 收 伊 速率 和 跟踪 性 能 将 严 
重 恶化 。 


5.7 BERK 


在 白 适 应 滤波 和 系统 辨识 中 ， 感 兴趣 的 问题 往往 可 以 用 一 组 线性 方程 组 描述 。 事 实 
t, 线性 方程 组 的 求解 不 仅 是 自 适 应 滤波 和 系统 辨识 中 的 重要 问题 ， 也 是 其 他 许多 科学 


和 技术 领域 里 的 一 个 核心 问题 。 有 趣 的 是 , 方程 组 的 求解 与 适当 构造 的 目标 淆 数 的 最 优 
化 大 两 个 等 价 的 问题 。 
考查 线性 方程 组 
Az=6b (5.7.1) 
式 中 ,A 是 一 个 nxn EER, HERR. 下 面 讨论 两 种 情况 。 
1. 实数 情况 
Ain BUR 
F(a) = jee- br (5.7.2) 


根据 实 值 函数 极 小 化 的 条 件 知 , PIRAT E z 的 梯度 应 该 等 二 零 , 即 ZO — 9, 


并 且 Hessian EK V27(z) > 0。 前 一 个 条 件 的 具体 结果 为 Aw-b=0, 表明 Bras 
J(x) 的 极 小 化 与 线性 方程 组 4z =b 具有 相同 的 解 。 进 一 步 求 目标 函数 的 梯度 的 梯度 ， 
得 Hessian 矩阵 V2 U(x) = 4。 因 此 , 条 件 V2J(%) > 0 ER ARM A > 0, 即 A 必须 是 
正定 矩阵 。 又 由 丁 Hessian 和 矩阵 一 定 是 对 称 矩 阵 , ATLA TRIERER 7(z) 的 极 小 化 
与 线性 方程 组 Ax =b 具有 相同 的 解 , 矩阵 A 必须 是 对 称 的 正定 矩阵 。 


2 复数 情况 
FHRA 


J(£) = s" As — ab (5.7.3) 


ROE MUNA, 目标 尊 数 关于 向 量 =。 的 梯度 应 该 等 于 零 , 即 2), 
并 上 Hessian 矩阵 Vu [Vun f(tw)] > 0。 前 一 个 条 件 的 具体 结果 为 hm — b= 0, BON DA 
eM J(z) 的 极 小 化 与 线性 方程 组 Ax = b 具有 相同 的 解 。 AR FERA MIEN 
度 的 梯度 ,得 Hessian 矩阵 V,,[V.,-f(o)] = Ao Buk, 条 件 Val Va w > 0 等 价 为 
及 > 0, Hil Hessian 矩阵 A 必须 是 Hermitian 正定 矩阵 。 
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上 述 讨论 表明 , 在 适当 选择 目标 函数 后 ， 最 优化 问题 的 求解 与 线性 方程 组 的 求解 完 
EEM BEREE 4 必须 是 (ERRIME) 对 称 的 正定 矩阵 。 下 面 以 复数 情况 为 对 象 ， 
讨论 如 何 通 过 适 代 运算 求解 线性 方 穆 纳 。 


5.7.1 RAAB 


FARA ERAS F LMS 算法 和 RLS 算法 之 闻 的 一 类 算法 ,其 日 的 是 希望 既 能 够 
防止 LMS 算法 的 慢 收 敛 速率 , 又 能 够 避免 RLS 算法 中 对 白 相 关 算 阵 的 求 逆 运 算 。 
WA PRR Je) KIARA g(a) = 了 s+7(z)， 则 


g(a) = Ax -b & r(x) (3.7.4) 


涵义 是 ; 共 辆 梯度 g 与 表示 解 向 量 = AURA it r 等 价 ,。 这 一 重要 结果 华 所 面 将 多 次 
用 到 。 
由 于 以 复 向 量 为 变 元 的 标量 函数 总 是 使 用 其 共和 抗 梯度， 所 以 常 将 共 斩 梯度 简称 为 


梯度 。 

定义 5.7.12) 称 - -个 Hermitian 正定 矩阵 B 为 内 积 矩 阵 (inner product matrix), 
€ (oe = (B) 定义 一 内 积 , 并 称 之 为 B 内 积 。 

很 明显 , 若 召 = 天 则 B 内 积 退 化 为 向 是 内 积 。 从 这 个 角度 讲 ， 召 内 积 是 向 量 内 积 
的 一 种 推广 , 例如 


(2,0) = (x, By) = 2" By 
定义 5.7,2l39 给 定 - Hermitian 正定 矩阵 吾 ， 称 非 零 向 量 组 合 {PoP Pk) 
是 相对 十 Hermitian 乱 阵 B ASN) (也 称 B 正 交 的 ), # 


PHBp; =0, vi#j (5.7.5) 


式 (5.7.5) 描述 的 性 质 常 常 简 称 为 一 组 向 苗 的 共 轿 性 (conjugacy). WA, Æ B =I, 
则 B 正 交 退 化 为 普 道 的 向 其 正 交 。 

根据 线性 方程 组 Aa = b 中 的 矩阵 A 是 否 为 Hermitian MM, Hermitian 正定 矩阵 
B 的 选择 有 以 上 两 种 情况 Ol. 

情况 1 nxn SEM A 是 Hermitian IDEM. 此 时 , RER B= A 即 可 ,并 且 B 
AAR 6, B) = (,A)e 

情况 nxn 短 阵 A 非 奇 异 , 但 不 是 Hermitian 和 矩阵。 此 时 , WR B= ANA 后 , 矩 
RE B 既是 Hermitian 的 , 也 是 正定 的 。 注意 ,在 这 种 情况 下 , BARA 


(ea = OB) = (APA) = (A, A) 67.6) 


例如 
(a, By) = x" By = z" A" Ay = (Ax, Ay) 


对 于 所 有 非 零 向 是 wy e Cn 成 立 。 
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由 于 4 非 奇异 , 所 以 用 非 奇异 的 AY 左 乘 线性 方程 组 Ar =b 的 两 边 , 将 不 会 对 方 
程 组 的 解 产 生 任 何 影响 , 即 线性 方程 组 AM Ag = Ab 和 Aw = b BASH. A 
BWE, RM J(z) = wt AM Ae - 2H AMy 的 极 小 化 与 线性 方程 组 ATAT = AND A 
有 相同 的 解 , 并且 Hessian 矩阵 ATA 是 Hermitian 正定 的 。 在 这 种 情况 下 , ERE 


g = AM Ag — AMb = ANg ` (5.7.7) 


AP, g= Ar 一 b 是 原 线 性 方程 组 As =b 的 共生 梯度 。 
以 上 讨论 可 以 总 结 为 表 5.7.1 的 对 比 结果 。 


5.7.1 不 同情 况 下 线性 方程 组 Ax = b 的 求解 


SBR A Hermitian (24856 FIRER 
Binet z" Ax - ZHb z” AM An — g” AMb 
Hessian H8 B B=A B= A"A 
B WH (n)a (A) (A,A) 
wane | g=As-b g' = Ag 


下 面 以 Hermitian LEER 4 为 对 象 展开 讨论 , 其 有 关 最 优化 公式 很 容易 推 | 到 A 
非 奇 异 的 一 般 情况 。 这 是 因为 , 只 要 根据 表 5.7.1, 将 4 WER (A) BEA B= AMA 内 
积 (A,A) 与 (或 ) 将 梯度 g PRA Ag, 即 可 得 到 A 非 奇异 情况 下 的 有 关 优化 公式 。 

命题 5.7.1 若 A Hermitian 正定 矩阵 ， 并 且 非 零 向 量 组 po,p1,… ,pk 是 相对 丁 
Hermitian 和 矩阵 A HAHAE, WKH AEX. 

证 明 假设 存在 常数 os,i = 0,1 he 使 得 


oopo + op) +++ +04, 一 0 
上 式 两 边 左 乘 pH A, HARE pH4pi =0,vi A 7, 立即 得 


ap Ap, =0, Yi=0,1,---,k 


但 是 , 由 于 矩阵 A 正定 , BY pH Ap, > 0,Vp, ¢ 0, 故 上 式 给 出 结果 = 0,Yi= 0,1,… ,k。 


因此 , 向 量 组 popo ,Pi 线性 无 关 。 a 
给 定 n x n 正定 矩阵 A, 令 popp ,pn_1 是 nn 个 APRNSES RARE. Hee 


5.7.1 知 , 这些 向 量 线性 无 关 。 因 此 , 线性 方程 组 (5.7.1) 或 者 最 优化 问题 式 (5.7.3) 的 解 
zs 可 以 用 这 些 正 交 基 向 量 的 线性 组 合 


Eu = Aopo 十 OPi + Op Pra (5.7.8) 
作 级 数 展 开 。 为 了 确定 常数 op 用 矩阵 pH A ÆRA (5.7.8) 两 边 , 易 知 
PAs. phe ga nad (5.7.9) 


a, = p 
1 přAp, přAp: 
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将 式 (5.7.9) {LA (5.7.8), 得 到 
下 
= 2 PT (5.7.10) 


从 线性 方程 组 或 者 最 优化 问题 的 解 的 表达 式 (6.7.10), 可 以 得 到 两 个 基本 的 观察 : 
(1) 选择 一 组 相对 于 A RARE pop Pa- 用 它们 作为 解 向 量 w, 的 级 数 
FEF GA, 如 式 (5.7.8) 所 示 。 
(2) X (5.7.9) 表明 , 展开 系数 o, TARE BA A, 向 量 6 以 及 4 RE 
的 向 量 组 计算 ， 而 无 需 用 到 本 知 的 向 量 z。 
这 两 个 观察 启示 我 们 , RESES (5.7.1) 或 者 最 优化 问题 式 (5.7.3) 的 解 2, En P 
达 代 过 程 的 结果 : 在 第 上 十 1 PRR, 只 要 对 前 一 步 迷 代 得 到 的 解 zx 加 上 校正 项 akpk， 
即 可 得 到 新 的 迭代 结果 er M 


Erti = PE 十 CREPE (5.7.11) 


式 中 


_ phgs _ _ (pe,gx) (6.7.12) 


“= Pk APh (Pr APh) 
并 且 g, 是 日 标 函 数 的 梯度 向 量 。 注 意 到 梯度 向 量 与 迭代 解 e, 对 应 的 残 差 向 量 等 价 , 故 


有 : 


gr = Aa, —b (5.7.13) 


式 (5.7.11) 和 式 (5.7.12) RECHT J BEA: (conjugate direction al- 
gorithm)。 其 基本 思想 是 : 
{1) 向 量 p, 在 迭代 过 程 中 起 着 更 新 或 搜索 方向 的 作用 ， 同 时 由 于 po, pi,… Ppa 
HOT HE A 共 罗 ， 所 以 常 称 它 们 为 共 辆 方向 向 量 。 
(2) 更 新 量 的 大 小 受 e, AY, Wo, 主要 取决 于 方向 向 大 px 与 梯度 向 量 g, 的 内 
积 PEO. 
因此 ， 当 共 轿 方向 向 量 po,P1,… ,Pn-1 预先 选择 之 后 , REET AI -PENR 
解 都 是 在 预先 选择 好 的 px 方向 上 更 新 ,而 更 新 的 步 长 由 梯度 向 量 gx( 等 价 为 残 差 向 量 ) 
dum. Auk, Jae mE px 起 着 搜索 线性 方程 组 的 真实 解 的 作用 , 故 又 常 被 称 为 搜索 
方向 (search direction). 
如 果 和 矩阵 4 只 是 非 奇 异 ,而 非 Hermitian 的 , 则 根据 表 5.7.1, RSG ARA 
中 的 公式 (5.7.12) 中 的 矩阵 A 换 成 AYA, 梯度 向 量 gx 替换 为 45gk WT, 结果 为 


pEANg, _ (Ap gx) (5.7.14) 


one ~ phAM Ap, (Ap, APh) 
“FPA a ET FEY ed PP ERE. 
定理 5.7.1 GET EE) B 令 po,Pi,… ,Ps_1 是 一 组 相对 于 Hermitian 矩阵 
APPMASES GE, 并 且 zo 为 一 任意 初始 向 量 。 若 使 用 共 轿 方向 算法 式 (5.7.11) MX 
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(5.7.12) 迭代 求解 线性 方程 组 Ax =b, 则 解 序列 {2} E n PERE, 收 但 为 线性 方程 
组 Aw = 5 的 唯一 和 解 x. HI zw = 2.0 

证 明 由 命题 5.7.1 知 ， 具 办 é 方 向 p, 线性 无 闫 。 因 此 ， 可 以 用 它们 作 基 向 量 ,对 
z£, — to 进行 展开 : 


E, ~ By = ToPo FPL 十 '… 十 on-lpn_1 (5.7.15) 
E 式 两 边 左 乘 pg A, JRIH (5.7.5) SRR, B042) 


EE 
Pk AlE, — 2) 
a= 5.7.16 
” PHA, 6716) 


下 面 证 明 op 与 式 (5.7.12) 的 常数 ak 致 。 
如 果 zx 利用 式 (5.7.11) 迭代 产生 , 则 


Ep = Fo + Copo + Py + + OK Per (5.7.17) 


ERER pEA, 并 利用 向 其 组 合 {po,p1,… ,ps} RIIE ZMA 


PAE,- ap) =0 


AW LRA æ, 一 zo = (€, — p) + (@, — 00), BEE 
phAta, 一 æo) = pEA(x, = t) = phe — Ax) = -PETR 


将 这 一 结果 代入 式 (5.7.16)， 即 得 


再 将 ok = o 代入 式 (5.7.15), 则 有 
E, = Ly 十 py 十 Dy p+ Op Par 
在 式 (5.7.17) PO kaon, 又 得 
En 一 Ly 十 AP, 十 Py 十 :十 OniPn 1 


CLARA DPR, EAN zn =a, 定理 得 让 。 L] 

定理 5.7.2 (扩展 子 空间 定理 ) Bo Sa, e 0 是 一 个 任意 选择 的 初始 点 ， 且 
po, pl，… ,pn 1 为 非 零 的 4 KME. HETI {x} BREA REAR (5.7.11) 和 式 
(5.7.12) 产生 , 则 zx 在 直线 a, +op,_, 以 及 在 直线 族 ro + Span{fpo, pi， Pea} 方 
向 上 使 函数 f(z) = gaT 4 -br 最 小 化 。 

GEAR ”由 于 直线 族 wy + Span{po,P1,… ,Ph_1} 包含 了 直线 spt apra 在 内 , 所 
以 只 需要 证 明 wx 企 直 线 族 mo 十 Span{po,P1,… ,Pe_1} 方向 上 使 图 数 f(z) 最 小 化 即 可 。 
BFAA fle) 是 严 格 凸 函 数 ， 所 以 如 果 能 够 证 明 函 数 f(e) 在 zx 的 梯度 gx 与 子 空间 
B, = Span{po pl Pea) IE, 即 gp 1 By» W zk 将 使 f(z) 最 小 化 。 
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上 面 用 数学 归纳 法 证 明 9 上 By HT AER By 是 空 的 ， 所 以 go 上 By. TRE 
gh 上 Bye 现在 证 明 gyi Bye 在 
Gk+1 = Fr + Or APh 
两 边 左 乘 pp. IRH ap 的 定义 式 (5.7.12), 立即 得 
plgrr: = phgk + %PLAP, =0 (5.7.18) 
另 一 方面 
Pilger = Pi Ip + KP] AD, =0, i<k (5.7.19) 
由 归纳 法 假设 g | Span{Po Pi t ;Pr_1)} 知 pig =0,Vi< k, BUX (5.7.19) 右边 第 一 
项 等 丁 零 。 根据 方向 向 量 p, 的 A RIEU IA pr Ap, = 0,1 < k, 即 式 (5.7.19) 
右 近 的 第 二 项 也 等 于 零 。 于 是 , 式 (5.7.19) ARN pig...) = 0,i < ke 这 一 结果 连同 式 
(5.7.18) 一 起 ， 可 以 合 写 为 


PPO =0, i=0,1,.,k (5.7.20) 

这 意味 着 gey 上 Span{po,P1,… ,Pr}。 这 就 用 归纳 法 完成 了 本 定理 的 证 明 。 a 
推论 5.7.1 CIE AH, 梯度 gk, = 0,1,… ,n 满足 正 交 关 系 

gip;=0, Vi<k (5.7.21) 


扩展 竹 空 间 的 涵义 是 : 由 方向 向 量 张 成 的 子 空 间 序列 B, E Span{po Pr Pr} 
满足 关系 式 B,D By 
至 此 ,在 利用 共 示 方向 法 求解 线性 方程 组 As =b 时, 还 剩余 一 个 问题 有 待 解决 : 如 
何 构 造 相 对 于 Hermitian 正定 矩阵 B HARR RAE po,p1,… ,pn_1? 
一 个 简单 的 事实 是 ，Hermitian LÆRE B e Cnx” 的 特征 向 址 uj, tz ,at 构成 
TARE tt, 因为 
u Bu; = dyullu;=0, Vie? (5.7.22) 


但 是 , 这 种 构造 方法 必须 先 对 Hermitian SEM B 进行 特征 值 分 解 , 需要 较 多 的 运算 。 
构造 共 配 搜索 向 量 更 实际 的 方法 是 Gram-Schmidt 正 交 化 方法 。 
假定 任意 一 个 非 零 的 初始 解 so 计算 初始 梯度 或 初始 残 差 go = Av, -5 则 以 下 递 
推 Ol 可 以 产生 B 正 交 (HP B 34) 的 向 基 组 


Po = go (8.7.23) 
a 
Pyar = AB; 一》 oisps (5.7.24) 
i=d 
式 中 
— Bár) (5.7.25) 


d= 
(Bp p;) 
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5.7.2 RERE 

PERRETE ARAA EID ROW TR. BIAN AR 
Popu pai TEIENEI., TRAD) ES, MUTT LLG ALS S A 
RAREN, RIEAN RRE TREER EARR. AT 
言 ， AUEI, JHC ta EE At 


Pk = Ge + GPa (5.7.26) 


AP, -g, RRBRNA EA, FeR EE. ERNER pH A, 并 利 
HRHD a AEE py Ap, =0 立即 得 到 
_ PE Age = (pe Aga) 
ET (57.27) 

综合 式 (5.7.11) ~ 式 (5.7.12) 和 式 (5.7.26)~ 式 {5.7.27)， 便 得 到 求解 线性 方程 组 
Ar = b 的 共 轮 梯 度 算法 如 下 。 

算法 5.7.1 (RSIS BIO) 

SM 初始 化 

By =0, go = ~b po 一 一 90 


FRY 对 上 =0,1,.… ,kwaxs 计算 


H 
PRL {Pr Ge) 
a= =- 5.7.28 
t= Ap ~~ Po APs) (67.28) 
Bey = Ly + ODE (5.7.29) 
Ger = Attys, 一 已 (5.7.30) 


_ DAgrr (Pin Ades) (5.7.31) 


Pets = phAp: (Pp. APs) 


Pit1 = Gra. + Pepi Pe (5.7.32) 


HERE 4 不 是 Hermitian 和 矩阵， 则 根据 表 5.7.1 的 对 应 关系 , 需要 将 式 (5.7.28) 中 的 
AWE (p,,Ap,) 替换 为 B = ANA 内 积 (App Aps), 并 且 将 分 子 中 的 梯度 gx 替换 为 
A”g, SUA 


PA" g, _ LAPa Ge) (5.7.33) 


“phat Ap, (Ap:, AP,) 

而 对 于 B41， 则 需要 将 式 (5.7.31) 的 分 子 中 的 A AR (Pr Ages) BRA BAR (Ap,, 
Agap): 同时 ,将 分 母 的 4 内 积 fp Ap,) 也 替换 为 五 内 积 (App, Apr) BEU Biya 
应 该 修正 为 


a= 


PEAT Agay1 _ {APh Agp+1) (5.7.34) 


Pasa = PRATAP, (Ap,, APh) 
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JEM 5.7.3 (Krylov 子 空间 ) 4+ AB nxn 和 矩阵, Hro 是 一 个 nx 向 量 , 称 
Kiro; k) © Spanfro Arp , Asro} (5.7.35) 


是 商量 ro AY k MRA kÆ Krylov 子 空间 。 
定理 5.7.3B27P1o9 AHR TEPER AE BLA CESS k DEAE AE EAE mk 不 是 线性 方程 
组 Ax = b 的 解 x,， 则 下 列 四 个 性 质 成 立 : 


gHgi=0, i=0,l,. ,kl (5.7.36) 
Span{go,91,--- ,gr} = Span{go, 49g0 ,A*go} (5.7.37) 
Span{fpo ph … Pr} = Span{gq, 4g0 -A*go} (5.7.38) 

peAp,=0, i=0,1,--+,k-1 (5.7.39) 


因此 , 序列 (ep) 最 多 只 需要 n Bat, 即 可 收效 为 Ps。 

WER ”多 文献 (337, pp.108~110].. 

需要 注意 的 是 ,在 定理 5.7.3 的 证 明 中 , 有 一 个 基本 的 假设 : 第 一 个 搜索 方向 po 选 
择 为 最 陡 下 降 方向 -go。 对 于 po 的 其 他 选择 , 定理 5.7.3 的 结果 将 不 成 立 。 

共 辆 梯度 算法 上 只 有 的 重要 性 质 可 以 归纳 如 下 T: 

(1) 方向 向 量 po,p1,… ,Pi 的 A 正 交 性 或 相对 于 A 的 共 轿 性 89, 23932389， 即 


phAp,=0, Wietk (5.7.40) 


(2) 梯度 (或 残 差 ) 向 量 的 正 交 性 Ps7, g 


gig; =0, i=0,1,.. ,k—1 (5.7.41) 


(3) 梯度 (或 残 差 ) 向 量 gp b= 0,1,… ,kiwax 服从 扩展 子 空间 定理 (292108871, 即 第 
步 迭 代 的 残 差 向 量 与 本 步 及 前 面 各 步 的 方向 向 量 正 交 : 


opp, =0, i<k (5.7.42) 
(4) AARETE (finite termination property) 217) (292) 831337], Rp 


kmar SM (5.7.43) 


(5) 下 降 性 , 即 
(5.7.44) 


PEGs SO 
为 了 看 出 共 轿 梯度 算法 的 下降 性 ， 由 式 (5.7.32) 易 知 


H H 
PE Iep = ~FeGesr Hkt Pk Ger. = Ikik 


式 中 , 利用 了 pio. = 0 (扩展 子 空间 定理 )。 由 于 内 积 gige >O 故 PEI S0 


328 第 5 章 梯度 分 析 与 最 优化 


这 意味 着 第 kti 步 选 代 的 搜索 方向 Ppr 总 是 取 梯 度 向 量 geyi 的 负 方 向 (EEN F REHE 
的 涵义 )。 

注意 ， 由 于 梯度 向 量 g 只 是 相互 正 交 ,它们 并 不 是 相对 于 矩阵 A 共 轿 的 , 而 真正 
HEA THERE A 共 轿 的 是 搜索 方向 pp 所 以 “ 共 思 C 梯 度 法 ”实际 上 是 一 种 误 称 B37,P.119]。 

原始 共 斩 梯度 算法 计算 三 次 矩阵 与 向 量 的 乘积 Ap,, Ax, 和 Ag...) BERS 
算 其 。 上 面 的 算法 只 需要 计算 矩阵 与 向 量 的 乘积 4pk， 是 一 种 经 济 的 共 罗 梯度 算法 ， 被 
认为 旦 标准 的 共 筑 梯度 算法 。 

算法 5.7.2 (ARMESERE LEE AIK) 841299}, 179] 

步 又 1 初始 化 

Zo =0, go =b, Pi = Gor po = 9490 
步骤 2 H k=0,1l, ,kwaxs 计算 


Vs = Ap, (5.7.45) 
ok 一 Aon (5.7.46) 
Er = Lh + OKP (5.7.47) 
Gk = Iki — He Vp (5.7.48) 
Pr = 9RGR (5.7.49) 
Be = Prf Px (5.7.50) 
Pryl = -Ir + Pe (5.7.51) 


45ERE 4 不 十 实 对 称 和 矩阵 时 , 可 以 使 用 Pletcher [56 PE KOREA B BEE (biconju- 
gate gradient method) 求解 矩阵 方程 Aa = b。 顾名思义 ,在 这 种 方法 中 ， 有 两 个 搜索 方 
向 p,p 与 矩阵 A Jti: 


BT Ap; = pl Ap, =0, i#j 
r= rls = 0, i AG (5.7.52) 
Tp; = rT pp = 了 
算法 5.7.3 (IULIE) 15611238) 


步骤 1 初始 化 
P= Top P= 


步骤 2 对 天 一 0,1 kno 计算 


ar = FET, / (PE APE) (5.7.53) 
Peet = Tk Ob APE (5.7.54) 
Far = Pk — GAP (5.7.55) 

Ba = Perka FETA) (8.7.56) 
Pest = Pepi + APs (5.7.57) 


Brrr = Feta + PaPe (5.7.58) 
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输出 


Beyl = Bp 十 GZ (5.7.59) 


Buy = By 十 Ody (5.7.60) 


5.7.3 AISNE eS Bk 

ASIAH, DED MSS ERTL n 个 样本 的 数据 块 设计 的 , 属 块 处 
理 算法 。 人 在 白 适 应 信号 处 理 中 , 希望 当 数 据 他 个 更 新 时 , 共 辐 梯度 算法 能 够 白 适应 更 新 线 
性 方程 组 的 解 。 例 如 ，Wiener 滤波 器 的 矩阵 方程 为 


Rw=r (5.7.61) 


RP, R= Efz(n)zT(n)} 为 滤波 器 输入 数据 向 量 e(n) 的 白 相 关 和 矩阵 ,而 > = B{d(n)a(n)} 
基 输 入 数据 向 基 e(n) JAR EAEE din) ZIM HK 

假定 输入 数据 和 期 望 输出 均 为 实数 据 ， 革 滤波 器 w = [wy wey Wy]? 的 抽 头 部 是 

实 系数 。 取 日 标 前 数 

Jw) = fe" Rw 一 aory (5.7.62) 


MARRE R REAREA EPER ST BE E EER 
定义 WAEA CAS EE AK BK A EA 


Rin) = 2 E aaie (5.7.63) 
i=n-m+l 

ra= 2 > aidie (5.7.64) 
izn- m+ 


RH, 0< X < 1 HGR. 于 是 , 样本 自 相关 矩阵 和 样本 互相 关 疝 量 可 以 递 推 计算 ; 


R(n) = AR(n — 3) + 2(n)x™ (n) (5.7.65) 
ràn) = Ar(n — 1) + d(nja(n) (5.7.66) 
负 梯 度 向 量 gin) = —[R(njew(n) — r(n)] 也 可 递 推 如 下 ; 
gin) =r(n) — Rln)w(n) 
=Ag(n — 1) - a(n) R(n)p(n) + w(n)[d(n) — aT (n)w(n — 1)] (5.7.67) 
针对 上 述 自 适应 滤波 问题 , Chang 15 Willson!” Eih TOL PEE IK. 
算法 5.7.4 ( 自 适应 共 辆 梯度 算法 1 (CG1)) [9i 


步骤 1 初始 化 
w(0) = 0, g(0) =7(0), p(1) = g(0), R{0) = O, r(0) =0 
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步骤 2 对 n=1,2,…, 计算 
Rin) = AR(n — 1) + 2(n)aT(n) 
r(n) = Ar(n - 1) + d(n)a(n) 
u(n) = R(n)p(n) 
_ Pi(njg(n — 1) 
a) = Br (not) 
w(n) = wn — 1) + a(n)p(n) 
g(n) = Ag(n— 1) — a(n) R(n)o(n) + 2(n)[d(n) — 27 (n)w(n — 1)} 


_ bia) -90 ~ Dg(n) 
BOS" gm ga 


p(n +1) = -gn) + Bln)p(n) 
算法 5.7.5 (EEIE 2 (CG2) 


步骤 1 初始 化 w0) =0 
FRA 对 n=1,2,…, 计算 


. 1 m-l 
Rn) = Doan 一 zzT(n — i) 
i=0 
1 m-l 
P(n) = 页 > dln—iz(n—i) 
i=0 


并 令 g(0) = Flm) — Rn)w(0), p(1) = g(0)- 
对 大 = 42 e, kmax 执行 以 下 选 代 : 
gk- Do 人 一 
p(k} F(n)p(k) 
wh) = wh — 1) + a(R) tk) 
glk) = g(k —1) — afk) R(n) p(k) 
97 (k)g{k) 

AR) = Sr Talk 1) 

p(k +1) = —g(k) + B(k)p(k) 


a(k) = 


输出 k= kma 时 , 取 
(re) = w(kmax) 


w(0) = (n) 


下 面 是 这 两 种 算法 的 比较 : 


(5.7.68) 
(5.7.69) 
(5.7.70) 
(8.7.71) 
(5.7.72) 
(8.7.73) 
(5.7.74) 
(5.7.75) 


(5.7.76) 


(5.7.77) 


(8.7.78) 
(5.7.79) 
(5.7.80) 
(5.7.81) 
(5.7.82) 


(5.7.88) 
(5.7.84) 


(1) 算法 CG1 假定 样本 自 相关 和 矩阵 和 样本 互相 关 向 量 是 可 变 的 。 在 每 一 个 时 刻 n 


FRR AE RUT 1 次 , 不 进行 迭代。 算法 2 在 每 一 个 时 刻 n 需 执行 fsx 步 


内 部 选 代 。 在 每 一 次 内 部 迁 代 ,假定 样本 自 相关 矩阵 和 样本 互相 关 向 量 不 变 。 
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(2) 样本 白 相关 矩阵 和 样本 互相 关 向 晤 的 估计 ; 算法 CG1 利用 指数 衰减 窗 ， 算 法 
CG2 TARZA. RAIA Se, 可 以 得 到 比较 快 的 收 伊 , 但 失调 ( 即 滤波 器 
输出 均 方 误差 ) 大 ; 而 指数 衰减 窗 可 以 同时 得 到 比较 快 的 收敛 和 比较 小 的 失调 。 


5.8 ” 仿 射 投影 算法 


从 LMS 白 适 应 算法 的 分 析 知 , 基本 LMS 算法 收 伍 性 能 差 有 两 个 主要 原因 : 步 长 u 
不 容易 选择 恰当 ; 滤波 器 输入 信号 有 可 能 是 相关 信和 号。 

为 了 改进 LMS 自 适 应 算法 的 收 伍 性能，Ozeki 与 Umeda 于 1984 年 提出 了 下 面 的 自 
适应 算法 B, 


ân = Xa XRX p) En (5.8.1) 
Uy = Wy, 一 X nån ` (5.8.2) 
e(n) = d(n) — wre, (5.8.3) 
= Uy | 
Wapi 二 (n) (5.8.4) 


这 一 算法 经 过 改造 后 ， 可 以 变 成 计算 其 界 于 LMS 算法 和 RLS 算法 之 间 的 一 种 口 适 
应 算法 , 称 为 仿 射 投影 算法 (affine projcction algorithm, APA). 
考虑 M 阶 滤波 器 w= eat Way? 其 输出 
yn) = wie, (5.8.5) 


RP, a, = [z(n),2(n —1),--- a(n - M40)" 为 滤波 器 输入 向 量 。 
使 用 工 个 输出 信号 组 成 一 数据 块 ， 邯 定义 向 量 


Yn = nhy -1e ,yn EHT (5.8.6) 
与 之 对 应 的 M x 工 输入 信号 矩阵 为 
Xp = [Eps Baas Pn Li] (8.8.7) 
于 是 , WRATH AT OA AR HES PE 
Ya = XW (5.8.8) 


在 非 平稳 系统 (如 移动 通信 中 的 无 线 信道 等 ) 中 ,滤波 器 w 应 该 是 时 变 的 ， 以 便 跟 踪 时 
变 系统 的 变化 。 取 滤波 器 的 白 适应 更 新 公式 为 


Wy = Wy + HA 


(5.8.9) 


将 式 (5.8.9) RAR (5.8.8) 得 


Yn = TA 
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在 上 式 中 , 令 y= 1, bx 1 REA 


En = Yn- Xa Wha (5.8.10) 
WE 
Xj Aw, =e, Ñ  XfAw, =e} (5.8.11) 
。 即 自 适应 算法 公式 (5.8.9) 的 更 新 量 Aw, H Lb 个 线性 方程 次 定 。 
方程 组 (5.8.11) 的 解 Aww, 分 以 下 两 种 情况 。 
情况 1 REAR 
当 1g 工 < NM 了 时, 方程 组 (5.8.11) 为 欠 定 方程 , 有 唯一 的 最 小 范 数 解 
Aw, = X (XRX, ) le (5.8.12) 
此 时 ， 白 适应 算法 式 (5.8.9) 变 为 
Wy = Way HAX (Xp Xp) “es (5.8.13) 
显然 , HL=1, 则 Aw, = e a ， 则 算法 式 (5.8.13) 退化 为 归 一 化 LMS 算法 : 
= *_ Tn 
Wy = Wait Hen ie (5.8.14) 


情况 2 超 定 方程 
当 工 > M 时 , 方程 组 (5.8.11) 为 超 定 方程 ， 其 唯一 解 为 最 小 二 乘 解 


Dw, = (Xp Xn) Rn (5.8.15) 


白 适应 算法 式 (5.8.9) 为 
Wy = Wyo tu XW) Xe (5.8.16) 


& p<1R,= ixxi Mr, = ph 利用 式 6.8.10), 可 将 式 (5.8.16) 等 价 写 为 


Wy = Way + (Ky XR) Xalyn Xh Wn) 
= Wn- Rr (Rp Wn- — Tn) 
与 式 (5.6.6) 一 致 。 这 说 明 , 当 工 > M 时 ， 自 适应 算法 公式 (6.8.9) 与 RLS 算法 等 价 。 
自 适 应 算法 公式 (5.8.13) 称 为 仿 射 投影 算法 3， 有 时 也 称 欠 定 递 推 最 小 二 乘 算 


mou, | 
仿 射 投影 算法 是 一 种 计算 复杂 度 和 性 能 介 于 LMS 算法 和 RLS 算法 之 间 的 自 适应 算 
法 , 近 几 年 已 经 成 为 自 适应 滤波 应 用 中 一 种 有 名 的 方法 。 快 速 仿 射 投影 算法 1841441 可 
以 提高 仿 射 投影 算法 的 收 化 速率 。 此外， 文献 [401] 给 出 了 仿 射 投影 算 法 的 收敛 性 能 分 
Bi, 文献 891] 介绍 了 仿 射 投影 算法 在 回声 对 消 中 的 应 用 。 关 于 多 信道 情况 上 的 仿 射 投影 


利 | 快速 仿 射 投影 算法 ， 可 参见 文献 [54]。 


(5.8.17) 
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5.9 ”自然 梯度 算法 


令 观测 数据 模型 为 
a(t) = As(t) (5.9.1) 
sth, A AEA SEM (mixing matrix), s(t) 代表 源 信 号 向 量 。 企 源 信号 相互 统计 独立 的 情 
况 下 ， 希望 使 用 一 神经 网 络 从 观测 数据 向 量 w(t) SERS So XL T 
分 离 。 图 5.9.1 画 出 了 混合 模型 与 上 信号 分 离 的 前 锁 神 经 网 络 , 其 中 , 图 (a) WER, 图 
(b) 为 详细 结构 图 。 如 图 5.9.1 所 示 , 令 前 馈 神 经 网 络 的 权 系 数 为 wj,i = 1,2,… 了 一 
1,2,---,m, We WRIA nx m BEE W(t) = fw Ol 则 


y(t) = W (t)æ(t) (5.9.2) 


W(t) EÈ SAP RAD EE (separating matrix) BARES FEM (de-mixing ma- 
trio)， 在 神经 计算 利 神经 网 络 中 称 为 突 触 权 和 矩阵 。 


n(é) 
a(t) iG) 
(a) 方 框图 
ARS AM 可 观测 的 被 分 离 的 
源 信 号 SHE 混合 信和 号 神经 网 络 笨 出 信人 
一 一 一 一 一 一 一 一 


mu 


sn 人 CO +, u(t) 
2 3 = 
y] CE 


sm 人 amn gee alt) 


mm a 


(b) 详细 结构 图 
图 5.9.1 混合 模型 与 言 信号 分 离 的 前 馈 神 经 网 络 
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言 信号 分 离 的 日 的 是 寻找 分 离 矩阵 B 使 得 BA=G, 其 中 , GA) CHEE. A 
些 , 希望 使 用 白 适应 学 习 算 法 , KBO EAE Wo 满足 关系 式 : 


WA=G 


此 时 ,神经 网 络 的 输出 向 量 
y(t) = W (Halt) = W, Aa(t) = Gs(t) (5.9.3) 


因此 , 神经 网 络 在 时 间 + 的 源 信号 分 离 的 性 能 由 合成 矩阵 TO) 全 W(t) 4 衡量 , 它 描述 
混合 - 分 离 模型 y = T0) 中 信号 被 分 离 为 独立 分 量 的 “精确 度 ”。 
下 面 从 神经 网 络 系统 输出 的 互信 息 的 最 小 化 推导 权 和 托 阵 的 更 新 公式 。 为 此 , 假定 系 
HAH y(t) = Walt) 表征 。 
最 小 互信 息 (minimum mutual information, MMI) 的 基本 思想 是 : 选择 神经 网 络 的 权 
JERE W, 使 输出 y 的 各 个 分 量 之 间 的 相依 性 最 小 化 ， 即 使 得 输出 向 量 y(t) 的 各 个 分 量 
尽 可 能 地 相互 统计 独立 。 这 一 方法 称 为 独立 分 量 分 析 (independent component analysis, 
ICA), 是 Comon T 1994 年 提出 的 上 o]。 现 在 ， 独 立 分 量 分 析 已 成 为 信号 处 理 、 模 式 识 
别 和 神经 计算 等 中 的 一 种 著名 方法 。 

作为 信号 之 间 相 依 性 的 测度 ， 通 党 采用 输出 向 基 y 的 概率 密度 函数 p,(y, W) 与 其 
分 解 形式 pyly, W) 之 间 的 Kullaback-Leibler (KL) 散 度 DOW), H 


D(W) = KLlpy (y, Wills, (y, W)) 
© | p, W)log Sjay 
RP, py W) 是 y 的 边缘 概率 密度 函数 的 乘积 , 即 pu, W) =P] ry, W) 
i=l 

显然 ， 苦 输 出 各 个 分 量 yt) 相互 独立 , 则 p(y, W) = pu, W) 即 D(W) =0 反 
之 , D(W) = 0 意味 着 y(t) 相互 独立 。 

信号 分 量 之 间 的 KL 散 度 与 它们 之 间 的 互信 息 等 价 IW) = DW), 并 且 互 信息 为 
非 负 值 ， 即 I(W) > 0。 因 此 ， 当 且 仅 当 输 出 各 分 量 独立 时 , 互信 息 最 小 (等于零 ), 即 


I(W)=0 if W=APA™ (5.9.4) 


这 一 结果 是 Comon F 1994 年 最 先 得 到 的 (2021, 
DRT AMR 48) 


IW) = DOW) = —H(y, W) + Sly W) (6.9.5) 


t1 


互信 息 最 小 的 条 件 是 : M 五 (y, W) 取 最 大 值 THW) 就 是 说 ， 互 信息 最 小 与 最 大 
i=l 
MEM. 
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为 了 衡量 输出 之 间 的 独立 性 ， 除 了 利用 它们 之 间 的 二 阶 相关 函数 外 ,还 必须 使 用 它 
们 之 间 的 高 阶 统计 其 。 因此， 必须 对 输出 向 量 y(t) 的 各 个 分 量 进 行 相同 的 非 线性 变换 ， 
令 非 线性 变换 为 g) M 


a(t) = laln E) gtyalt)), ,gCyn (ET 


业已 证 明 kaaal 
max H(y, W) = max H(z, W) 
和 和 oH 
Se) wt Boae} 
式 中 
[o a(n)” 
sta) = [gs ee ee 
更 新 权 和 矩阵 W 的 梯度 算法 为 
= (WT Bly)")) (5.9.6) 


ESP BAI E{p(y)zT} 用 瞬时 值 yjet 代替 后 , 即 得 到 讶 信和 号 分 离 的 随机 梯 
ALR: 


WW p(w- - pa") (5.9.7) 


这 一 算法 是 Bell 和 Sejnowski 于 1995 年 提出 (5), 

上 述 随机 梯度 优化 方法 的 主要 缺点 是 收 伍 比较 慢 。 因 此 ， 希 望 有 一 种 优化 方法 既 能 
够 保留 随机 梯度 方法 的 简单 性 和 数值 稳定 性 ,又 能 够 得 到 很 好 的 渐 近 收 敛 性 。 还 希望 其 
性 能 与 温 合 矩阵 A 无 关 , 以 便 即 使 当 A BARAT AEE, 算法 仍然 能 够 工作 得 很 好 。 这 
是 完全 可 以 实 更 的 ， 因 为 如 果 将 一 可 道 矩阵 GO 作用 于 随机 梯度 算法 公式 (5.9.7) 中 的 
ERE: 


dW OH z,W) 
a IO aw 


则 算法 的 收敛 性 能 和 数值 稳定 性 能 都 将 有 明显 的 提高 (参见 文献 [14, [488])。 
1997 年 ，Yang 与 Amari [488 MERE W 的 参数 空间 的 Riemann 结构 出 发 , 证 明了 
矩阵 G 的 自然 选择 为 
Gt la w) aulan W) tw 


BH Ce W) yy "yy A RBH (natural gradient) nd。 于 是 ,标准 重度 算 法 可 以 改进 为 
OW an (wo? (ay) WW 
=n- Efo HW 
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而 随机 梯度 算法 可 以 改进 为 
(WT) ww 
= (I~ $V W 
由 此 得 到 著名 的 白 然 梯度 算法 (natural gradient algorithm) [4){4881 
Wk +1) = WE) + fk) [E — plul) yT (k)] Wik) (5.9.8) 
由 白 然 梯度 算法 易 知 ， 神 经 网 络 收敛 到 半 衡 点 的 条 件 古 : 
EG }=T 或 Efd(yi(t))ys(t)} = dy (5.9.9) 
白 然 梯度 算法 明显 优 于 普通 的 随机 梯度 算法 。 在 执行 白 然 简 度 算法 时 , 学 习 速 率 nlk) 
的 选择 是 一 个 重要 问题 , 可 和 参考 文献 [525] 和 文献 [286]. 
Zhu 和 Zhang 将 独立 分 量 分 析 的 白 然 梯度 算法 与 非 线性 主 分 其 分 析 的 递 推 最 小 二 乘 
算法 相 结 合 , 提出 了 基于 白 然 梯度 算法 的 递 失 最 小 一 乘 算法 [13]。 


本 章 小 结 


最 优化 问题 的 求解 取决 于 标量 目标 函数 关于 自 变 元 (矩阵 或 向 量 ) 的 梯度 和 Hessian 
EE. AEGEAN SER ( 含 实 向 量 ) OLE (CHAE) 为 目标 函数 的 变 元 ， 讨 
HT BBA. HAMEL Hessian 矩阵 的 计算 方法 。 特别 地 ， 矩 阵 微分 在 求 梯度 矩阵 和 
Hessian 候 阵 中 起 着 重要 的 作用 .。 

在 大 量 的 工程 问题 中 ， 最 优化 的 核心 问题 是 如 何 保证 解 在 学 习 过 程 中 的 收 伍 。 在 各 
类 学 习 算 法 中 ， 梯 度 算法 是 最 简单 和 最 基本 的 算法 . 梯度 算法 及 其 改进 构成 了 本 章 的 另 
一 个 核心 部 分 。 作 为 梯度 算法 的 收 进 ， 本 章 分 别 介 绍 了 递 推 最 小 二 莱 算 法 、 共 堪 梯 度 算 
法 、 仿 射 投影 算法 和 自然 梯度 算法 。 


习 是 


5-1 令 y 起 一 实 值 观测 数据 向 量 , 由 y= az 二 bv 给 出 , 其 中 , a 为 实 标量 , z 代表 
一 实 值 确定 性 过 程 ， 而 加 性 噪声 向 量 v 具有 零 均 值 向 量 ， 协 方差 矩阵 R, =E{vo"} i 
求 一 最 优 滤 波 器 向 量 w, 使 得 估计 子 a= wTy 是 一 个 方差 最 小 的 无 篇 估计 子 。 

5.2 > f(t) 为 一 已 知 隐 数 。 考虑 二 次 型 卫 数 的 最 小 化 : 


min Q(z) = min fire zo pit— at" Pade 


FU STE TS AR ALIS 1 BY BEE BS? 


习题 


5.3 XBA y = 48 +e， 其 中 , e 为 误差 向 量 。 定 义 加 权 误差 平方 和 
Ey a Wwe 
其 中 , W A Hermitian EH, 它 对 误差 起 加 权 作 用 。 

(1) 求 使 ,最 小 化 的 参数 向 晤 8 的 解 。 这 一 解 称 为 8 的 加 权 最 小 二 乘 估计 。 

(2) 利用 LDL" 分 解 W = LDI”, 证 明 加 权 最 小 二 乘 准则 相当 于 使 误差 或 数据 向 虹 
进行 预 白化 。 

5.4 Syk 实 值 随机 向 量 , Hy = ar 十 e 描述 。 其 中 , x 是 一 全 确定 向 量 ; a 为 
常数 ; e 为 一 零 均 值 的 随机 向 量 ， 其 协 方 共 矩阵 为 RR.。 现 在 希望 利用 数据 向 量 y, 确定 
a 的 最 优 线性 无 偏 估 计 。 为 此 , > G = wly, 求 最 优 滤波 器 w 

5.5 考虑 上 题 中 y 为 复 向 量 的 情况 。 FON BY 


f(w) = wi Row 


并 HL 给 滤波 器 加 约 来 条 件 RefwHm) =b, 其中, b 为 一 常数 。 试 求 最 优 滤波 器 we 
5.6 解释 下 列 有 约束 最 优化 问题 是 否 有 解 ; 
(1) minfzl + 72), 约束 条 件 为 zf?+22=20& T1105r gl1; 
(2) min(zl + z2)， 约 求 条 件 为 2 十 3 <1, T1 +2254; 
(3) min(zizaj, 约 来 条 件 为 2, + rz = 3。 
5.7 考 虚 约 来 优化 问题 
min(z — 1){y + 1), 约束 条 件 为 -yy =0 
利用 Lagrange 乘 数 法 证 明 根 小 点 为 (1,1), H Lagrange RA A = 1。 若 Lagrangb BBR 
Hle, y) = (@ —Iy+1)-e-y) 
证 明 g(x,y) 在 (0,0) 有 一 个 鞍点 ， 即 点 (0,0) 不 能 使 yle, y) 极 小 化 。 
5.8 求解 约束 优化 问题 min J(2,y, 2) = a? ty? +27, ARRAN 82+ 4y ~ z = 256 
5.9 证 明 
d(UV W) = (dO VW +UdV)W + UV Ww) 
5.10 证 明 
dltr(XTX)] = 2tr(X TAX) 
5.11 KEKS AXB 和 AXB K Jacobian 矩阵 和 梯度 矩阵 。 


5.12 RERAN XTAX,XAX', XAX WM XTAXT 的 梯度 矩阵 。 
5.13 求 行 询 式 对 数 log |XTAX|, log |X AXT] Al log|XAX| 的 Jacobian 矩阵 与 梯 


REE, 
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5.14 证 明 : HF 二 矩阵 函数 ， 并且 可 -次 微分 ， 则 
d log |F| = -tr(F dF)? + tr( F71)? F 
5.15 假定 > 是 W 维 数据 或 文本 向 基 , 现在 希望 寻找 一 nx REBRE W 对 z 
进行 数据 压缩 : y = Wa, 使 得 ”< NN。 定义 日 标 函 数 Jw = tr[(W7 Sau WTW S a WT], 
其 中 , Sru FS, 分 别 丰 原 数据 向 量 x 的 类 内 和 类 闭 敬 春 矩阵 。 线 性 变换 矩阵 的 优化 准则 
起 使 目标 函数 Jy 最 大 化 。 设 ODES cy 的 特征 值 为 入 ,和 2,… Ay (On 2 Ag BB Ay) SF 
且 wi 是 与 特征 值 ; 对 应 的 特征 向 量 。 证 明 W = [e to,… p tey 并 且 maxJir = Dove 
(提示 : 使 用 矩阵 微分 求 梯度 矩阵 8Jw/9W.) = 
5.16 证明 29l 
d(FIF)= Fi(dF)(I — FIF) + [Fi(dF)(I — Ft PYT 
aFF!) = (I — FF')(dP)Ft+ [I ~ FFI)(AF)FIT 
sth, At 是 A 的 Moore-Penrose WERE. 
517 已 知 线性 方程 


1 ols 411fan tr(dX} 
M Ag ve An | [De tr(XpdX) 
APT Ag ta tr(X§7'dX) 


KK daze 
5.18 计算 标量 函数 f(x) = aTe 和 f(x) = a7 Aw 的 Hessian WBE. 
5.19 WREAK f(X) = tr(AXBXT) 的 Hessian 矩阵 为 
HIf(X) = B7 @A+B@A™ 


5.20 求 行列 式 对 数 log | 六 "AX|, log |X AXT] Al log|XAX} 的 Hessian 敌阵 。 
5.21 REHA F(X) =aTX Xe 的 Hessian HERE. 
5.22 令 观 测 数 据 向 量 由 线性 回归 模型 


y=XR8+e, Ele}=0, EfeeT}=o1 


产生 。 现在 希望 设计 一 个 滤波 器 矩阵 A 其 输出 向 量 e = Ay 满足 Bfe-e} =0, FHT 
以 使 得 EB{(e — ejT(e — 6)} 最 小 化 。 证 明 这 个 最 优化 问题 等 效 为 


min [tr(AT A) — 2tr(A)] 


ARR AX =O, EP, O ABE. 
5.23 ”证 明 最 优化 问题 


min [tr(ATA) - 2tr(4)]， ORR AX =O (FEE) 
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的 解 矩 阵 为 ÀA = 了 一 XXt. 
5.24 证 明 : 下 约束 问题 


min[(y - XB) TV + KX) ty - XB) 
与 下 面 的 约束 问题 具有 相同 的 解 向 量 8: 
min {(y — X8)V'(y — XA) 


约 来 条 件 为 (I 一 VVi)X8 = (I 一 VVi)y。 
5.25 ”证 明 约 来 最 优化 问题 


min Jata, 约束 条 件 为 Cz=6 


具有 了 唯一 解 z* = CIb。 
5.26 SAEPE Y e Rm, Ze ROm), 它们 的 列 构成 线性 无 关 的 集合 。 如 果 将 
服从 约束 条 件 Az = b 的 解 向 量 表示 为 £= Ysy + Zez 其 中 , zy 和 zz 分 别 是 基 个 
mx1 和 (n 一 m) x1 向量。 证 明 解 向 量 为 2 =Y(AY) "b+ Zaz. 
5.27 车 约 来 最 优化 问题 为 min tr(AVAT) 约束 条 件 是 AX =W, 证 明 


A=W(XTVIX)XTVI + Q(T - VoV)) 


H, Vo =V+XX", Q 是 一 任意 矩阵 。 
5.28 约束 最 优化 问题 为 min tr(457), 约 来 条 件 为 AX =O, AAT =I. 证明 : 最 
优化 问题 的 解 为 295,PP-302~305] 


A=(SMS')75M, M=I- XXt 


5.29 2967367] A 5 和 本 大 两 个 已 知 的 mm xm EERME, 并 且 AMA. & 

f Æ EER, hH 
f(A) = log|AA™ + 8| + tr ((AAT + 8) +8) 
定义 , EP, ACR", 1&n m 证 明 : 

0) 当 A= 8 T(A-1,)/? Mt, RARR fF ISDE). AP, P A nxn 
MER, 它 包含 了 矩阵 SS Hn MARE, TOME T Rm xn ER 
由 矩阵 -M25 多 1/2 的 ”个 主 特征 向 量 组 成 。 

(2) SERRE f 的 最 小 值 为 


m 
m+ log|S|-+ >> (一 logAN 一 了 
i=n4l 


RP, Angi Anp ;Xm 表示 矩阵 D78B12 的 m 一 nn 个 最 小 的 特征 值 。 
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5.30 令 p>1,ai>0i=12…,n, 证 明 :对 和 一 组 满足 Sra! = 1 (4 = p/(p—1)) 
的 非 负 实数 opaa sty 不 等 式 S 
n n Vp 
Maz; < (Se) 
i=l i=1 
n Lip 
成 立 。 这 一 不 等 式 称 为 位 的 表示 定理 296.9.219， 并 莫 等 号 成 立 ， 当 且 仅 当 
= 
th -1 
1 二 G2 二 -… =a, = OMA xf = a? Ve »4=1,2,---, no 
= 
5.31 考虑 M 个 实 谐 波 信号 的 Pisarenko 谐 波 分 解 的 下 列 推 广 Be 。 令 噪声 子 空 间 
的 维 数 大 于 1， 了 丁 古 张 成 噪 户 子 空间 的 矩阵 V, 的 每 -- 个 列 向 量 的 元 素 都 满足 


2M 2M 
Veet! = neato, 1<icm 
k=0 一 0 


令 五 = Yna 表示 Vn 的 列 向 量 的 非 退 化 线性 组 合 。 所 谓 非 退化 ， 乃 是 指 由 向 量 p = 
Po Po Don)” 的 元 素 构 造 的 多 项 式 pe) 至 少 具有 2M 阶 , BD ple) =o 十 而 2 十 .十 
M2 Boy 关 0。 丁 是 , 这 -多 项 式 也 满足 上 面 的 式 子 。 这 意味 着 , 所 有 谐 波 频率 均 可 由 
多 项 式 p(z) 位 于 单位 图 上 的 2M 个 根 求 出 。 现在 希望 选择 系数 向 基 or MER: po = 1 

K 
和 Sr = mine 

kal 

(1) 令 oT SEAM Vn, 的 第 一 行 , 而 Y Abe V, 的 其 他 所 有 行 组 成 的 矩阵 。 若 p 是 

由 五 除 第 一 个 元 素 以 外 的 其 他 元 素 组 成 的 向 其 , 试 证 明 


a =arg mina? V TVo 
约束 条 件 为 vTa = 1。 
(2) 利用 Lagrange 乘 子 法 证 明 约 束 优 化 问题 的 解 为 
VW _ V(VĒVy w 
Soryo ”TY 
5.32 BOERE X 的 秩 rank(X) <r, 证 明 : 对 所 有 满足 ATA = 1, HEXER A 
MARAE Ze R"*x", A 


mintr (x -ZAT\X — ZAT)T) =0 
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Beltrami (1835-1899) 和 Jordan (1838-1921) 二 位 学 者 被 公认 为 址 奇异 值 分 解 的 创始 
人 : Beltrami F 1873 年 发 表 了 奇异 值 分 解 的 第 一 篇 论文 5 , 一 年 后 Jordan 发 表 了 自己 
对 奇异 值 分 解 的 独立 推导 P, ME, 奇异 值 分 解 (包括 各 种 推广 ) 已 是 数值 线性 代数 的 
最 有 用 和 最 有 效 的 工具 之 一 ， 它 在 统计 分 析 、 信 和 号 与 图 像 处 理 、 系 统 理论 和 控制 中 被 广 

本 章 先 在 6.1 节 介 绍 数值 算法 的 数值 稳定 性 与 条 件数 的 概念 ， 以 引出 矩阵 的 奇异 值 
分 解 的 必要 性 ; 然后 在 6.2 节 详 细 讨 论 奇异 值 分 解 (定义 、 几 何 意义 与 唯一 性 ), 奇异 值 
的 性 质 以 及 如 何 利用 奇异 信和 分 解 求解 秩 亏 缺 的 最 小 二 乘 问题 .6.3 节 讨论 奇异 值 分 解 的 数 
值 计 算 。 从 数值 性 能 考虑 ,如 果 线 性 方程 As = b 中 的 矩阵 A 具有 A = BTC 的 形式 ， 
则 A 的 奇异 值 分 解 应 该 利用 两 个 矩阵 乘积 BTC 的 奇异 值 分 解 进行 计算 , 这 正 是 6.4 节 
的 讨论 焦点 。6.5 闻 ~ 6.7 节 介 绍 奇异 值 分 解 的 几 种 重要 推广 : 6.5 节 是 矩阵 对 (A,B) 的 
广义 奇异 值 分 解 ，6.6 WARES TU (4, B,C) 的 约束 奇异 值 分 解 ，6.7 节 则 是 结构 奇 
异 值 。6.8 节 分 别 专题 介绍 奇异 值 分 解 在 电子 线路 、 系 统 理论 和 信号 处 理 中 的 儿 个 与 型 应 
用 。 最 后 ，6.9 节 介 绍 广义 奇异 值 分 解 的 应 用 。 


6.1 ”数值 稳定 性 与 条 件数 


在 信息 科学 与 工程 等 许多 应 用 中 , 在 对 数据 进行 处 理 时 ， 常 常 需要 考虑 一 个 重要 问 
题 ， 实际 的 观测 数据 存在 某 种 程度 的 不 确定 性 或 误差 , 而 且 对 数据 进行 的 数值 计算 也 总 
是 伴随 有 误差 。 误差 有 何 影响 ? 数据 处 理 和 数值 分 析 的 算法 稳定 吗 ? 为 了 回答 这 些 问题 ， 
下 面 两 个 概念 是 极其 重要 的 ， 

(1) 一 种 算法 的 数值 稳定 性 ; 

(2) 所 涉及 问题 的 条 件 或 扰动 分 析 。 

假定 用 f 表示 某 个 用 数学 定义 的 问题 , 此 f 作用 于 数据 de D (D 表示 某 个 数据 组 )， 
并 产生 一 个 解 f(d) © F (F 代表 某 个 解 集 )。 给 定 4e D, 我 们 希望 计算 fd) WR, KAE 
WEA d 的 某 个 近似 值 d, 我 们 所 能 够 做 到 的 就 是 计算 f(a"). 如 果 f(a") “GEE” f(a), 
那么 问题 就 是 “良性 ”的 。 若 d* 接近 a 时 f(a") 有 可 能 与 Ad) 相差 很 大 ， 我们 就 称 问 
题 是 “病态 ”的 。 和 如 果 没 有 有 关 问 题 的 更 详细 的 信息 ,术语 “逼近 ”就 不 可 能 准确 地 描述 
问题 。 

在 扰动 理论 中 , 称 求解 f(d) 的 某 种 算法 是 数值 上 稳定 的 , 车 它 引 入 的 对 扰动 的 敏感 
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度 不 会 比 原 问题 本 身 固有 的 敏感 度 更 大 。 稳 定性 可 以 保证 稍 有 扰动 时 问题 的 解 接近 无 扰 
动 时 的 解 。 更 确切 地 说 , > f* 表示 用 于 实现 或 近似 f 的 一 算法 , 则 产 是 稳定 的 ， 区 对 
所 有 de D, 存 住 一 接近 d 的 d e DD 使 得 f(a*) ( 簿 有 扰动 的 问题 的 解 ) 接近 解 f(a). 

当然 ,我们 不 可 能 期 望 一 求解 病态 问题 的 稳定 算法 会 具有 比 数 据 无 扰动 时 更 高 的 精 
确 度 。 然而 ,一 种 不 稳定 的 算法 甚至 会 对 良性 问题 给 出 差 的 结果 。 因 此 , 在 确定 某 个 解 的 
REM, 有 两 个 不 问 的 因素 必须 考 虚 。 首先, 若 算法 是 稳定 的 , 则 f(a) 应 该 接近 f(a"); 
其 次 , 车 问题 是 良性 的 , W f(d) 应 该 接近 f(d)。 ZFF, f) 就 会 接近 Fld). 

站 面 讨论 数值 稳定 性 的 数学 描述 。 

ETH, 经 常会 过 到 线性 方程 Ax = 6,， 其 中 , nxn 矩阵 4 是 一 个 元 素 为 已 到 数 
(AN RRGHE, n x 1 AE b 为 已 知 向 量 , 而 nx1 alate 是 一 个 待 求解 的 未 知 参数 向 基 。 
RAGE A 非 奇 异 时 ， 由 于 独立 的 方程 个 数 和 未 知 参 数 的 个 数 相等 ， 故 方程 具有 唯一 的 
解 , 称 为 适 定 方程 。 很 白 然 地 , 我 们 会 对 这 个 方程 的 解 的 稳定 性 产生 兴趣 : WR Rey 
AS (或 ) AE 5 发 生 扰 动 ,那么 方 种 的 解 向 量 x 会 如 何 变化 呢 ? 还 能 够 保持 一 定 的 稳 
定性 吗 ? 研究 方程 的 解 向 基 s WR RRO A 和 系数 向 量 b 的 元 素 微小 变化 (扰动 ) 
的 影响 , 将 得 到 描述 矩阵 4 的 一 个 重要 特征 的 数值 , 称 为 条 件数 (condition number). 

为 了 分 析 的 方便 , 先 假定 只 存在 向 量 b 的 扰动 5b, 而 矩阵 A 是 稳定 不 变 的 。 此 时 ， 
精确 的 解 向 最 s 就 会 扰动 为 z+5x, MA 


Ale+da)=6+56 (6.1.1) 


这 意味 着 
é2=A‘5b (6.1.2) 


为 As = bo 对 式 (6.1.2) 应 用 和 矩阵 范 数 的 性 质 , 得 


lezl < 4- "Hol (6.1.3) 


对 线性 方程 Ar = 二 也 使 用 矩阵 范 数 的 相同 性 质 ， 又 有 


ibl < PAT lt) (6.1.4) 
由 式 (6.1.3) 和 式 (6.1.4)， 立 即 得 到 
Wal ol . 
四 | < (AIAI) [ol (6.1.5) 


然后 , 考虑 扰动 54 的 影响 。 此 时 , 线性 方程 变 为 


(4 +5A)(£ +82) =b 


6.1 数值 稳定 性 与 条 件数 


由 上 式 可 推导 出 
öz =[(A +84)! -A lb 
={ATA- (A +5A)](A +5A)-'}b 
=—A1§A4(A+6A)—1b 


=A SA(zx + 5x) (6.1.6) 
由 此 得 
[sae < HA Allie + | 
a EL < (ala pital (6.1.7) 
ler eaq < Val 


式 (6.1.5) 和 式 (6.1.7) 表明 , 解 向 基 x 的 相对 误差 与 数值 
cond( A) = |[All- A7" (6.1.8) 


成 正比 。 式 中 ,cond(4) 称 为 矩阵 4 的 条 件数 , 有 时 也 用 符号 A) 表示 。 

4 FORGE RE 4 一 个 很 小 的 扰动 只 引起 解 向 量 x RRR, MIERE 4 是 “ 良 
A” MERE (well-conditioned matrix) Æ ROER A 一 个 很 小 的 扰动 会 引起 解 向 量 > 很 大 
的 扰动 ， 则 称 和 矩阵 A HE OAS” MERE (ill-conditioned matrix)。 条 件数 刻画 了 求解 线性 方 
程 时 ,误差 经 过 矩阵 A 的 传播 扩大 为 解 向 基 的 误差 的 程度 , 因此 是 衡量 线性 方程 数值 称 
定性 的 一 个 重要 指标 。 

进 - 步 地 , 我 们 来 分 析 误 差 在 线性 最 小 二 姜 问 题 中 对 解 的 影响 。 考虑 超 定 的 线性 方 
程 Ar =b 的 求解 ,与 前 面 的 适 定 方程 ( 即 方程 的 个 数 与 未知 数 个 数 相同 的 方程 ) 不 同 ， 
这 里 4 是 一 个 m x 有 n% 短 阵 , 且 m > n。 由 于 方程 个 数 多 于 未 知 参数 个 数 , 这 类 方程 统称 
超 定 方程 。 超 定 方程 存在 唯一 的 线性 最 小 一 乘 解 ,由 


AM Ag = 4Hb (6.1.9) 


HY æ = (AMA)? AMD 给 出 。 容 易 证 明 ( 详 见 后 面 的 6.2.2 小 节 ) 
cond(4HA) = {eond(A)]* (6.1.10) 
由 式 (6.1.5) 和 式 (6.1.7) 可 知 , b 的 误差 5b 和 A 的 误差 SA 对 超 定 方程 式 (6.1.9) 的 解 
z 的 误差 的 影响 分 别 与 4 的 条 件数 的 平方 成 正比 。 就 是 说 , 超 定 方 各 (6.1.9) 的 条 件数 将 
旺 平方 关系 增 大 。 例如 , 考虑 | 
A=15 0 
明 


的 情况 , 其中, 5 很 小 。 A 的 条 件数 为 654， 数量级。 由 于 


ana |1+ 1 
B=4"a -| 1 1+8 


344 第 6 章 奇异 值 分 析 


因而 条 件数 变 为 57? 数量 级 。 
另外 一 方面 ， 如 果 我 们 利用 A 的 QR 分 解 来 解 超 定 方程 hz = b 的 话 , 那么 由 十 
Qa8G =I, 所 以 
cond(Q) = 1 (6.1.11) 
cond(A) = cond(AQ) = cond(A) (6.1.12) 
此 时 , 5 和 A 的 误差 的 影响 将 分 别 如 式 (6.1.5) 和 式 (6.1.7) 所 示 , 与 4 的 条 件数 成 正比 。 
以 上 事实 告诉 我 们 , 求解 超 定 方程 问题 的 QR 分 解 方法 具有 上 比 最 小 一 乘 方法 更 好 的 
数值 稳定 性 ( 现 小 的 条 件数 )。 
车 条 件数 “很 大 ”线性 方 穆 问 题 便 称 为 (相对 于 范 数 | - ||) 病态 的 。 此 时 , 对 于 一 接 
近 真 实 b 的 加， 由 于 条 件数 很 大 ， 所 以 与 b 对 应 的 解 就 会 远离 对 应 于 b 的 解 。 解 决 这 
类 病态 问题 的 一 种 比 QR 分 解 更 加 有 效 的 方法 此 总 体 最 小 二 乘法 (将 在 第 了 章 介绍 ), 它 
的 基础 就 是 下 一 节 要 讨论 的 矩阵 的 奇异 值 分 解 。 事实 上 , 正如 以 后 几 节 将 看 到 的 耶 样 , HE 
阵 的 奇异 值 分 解 已 被 广泛 应 用 于 解决 工程 学 科 中 的 许多 重要 问题 。 


6.2 ”奇异 值 分 解 


奇异 值 分 解 {singular value decomposition, SVD) 是 现代 数值 分 析 (尤其 是 数值 计 
算 ) 的 最 基本 和 最 重要 的 工具 之 一 。 本 节 介绍 奇异 值 分 解 的 定义 、 几何 解释 以 及 奇异 值 的 
性 质 。 
6.2.1 “奇异 值 分 解 及 其 解释 


奇异 值 分 解 最 早 是 由 Beltrami 在 1873 年 对 实 正方 矩阵 提出 来 的 B3, Beltrami 从 双 
线性 函数 


f(y) =aTAy, AER 


出 发 , 通过 引入 线性 变换 
T=Ué, y=Vn 


将 双 线性 函数 变 为 
f(x,y) = 780 


式 中 


S=UTAV (6.2.1) 


Beltrami MWS), WEAR U MV 为 正 交 矩阵 ， 则 它们 的 选择 各 存在 n 一 n 个 自由 
度 。 他 提出 利用 这 些 白 由 度 使 矩阵 S 的 对 角 线 以 外 的 元 素 全 部 为 零 ,， 即 矩阵 9 = 也 一 
diag(01, ca,-… ,on) WMS. Fat, 用 U A VT 分 别 左 乘 和 右 乘 式 (6.2.1), 并 利用 
U Fil 的 正 交 性 ， 立 即 得 到 


A=UZVt (6.2.2) 
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这 就 是 Beltrami T- 1873 年 得 到 的 实 平方 算 阵 的 奇异 值 分 解 B, 1874 年 ， Jordan 也 独 
立地 推导 出 了 实 正 方 短 阵 的 奇异 值 分 解 各。 有 关 奇 异 值 分 解 的 这 自发 明 历史 , 可 参见 
MacDuffee 的 书 294-75) 或 Stewart 的 评述 论文 fs。 文献 [433] 还 详细 地 评述 了 奇异 值 
分 解 的 整个 早期 历史 。 

后 来 , Autonne PA 于 1902 年 把 奇异 值 分 解 挫 广 到 复 正 方 短 阵 ; Eckart 1 Young 4N 
于 1939 EE- 步 把 它 推广 到 :一般 的 长 方形 矩阵 。 因 此, 现在 常 将 任意 复 长 方 矩阵 的 奇 
蜡 值 分 解 定理 称 为 Autonee-Eckart-Young 定理 ， 详 见 下 述 。 

定理 6.2.1 ( 抢 阵 的 奇异 值 分 解 ) $ Ac Rm 或 cmn), MEER CORE) 4E 
阵 U e RR O™™™) AV e R 或 Cmx") 使 得 


A=UEV™ (hUEV") (6.2.3) 
式 中 z 
s= [o 3 (6.2.4) 


H E, = diag(ol,oa ,or)， 其 对 角 元 素 按照 顺序 


0, 2022---20,>0, r = rank(A) (6.2.5) 


排列 。 
以 上 定理 最 早 是 Eckart 与 Young "4" 于 1939 年 证 明 的 , 但 证 明 较 繁杂 。 下 面 采 用 


的 是 Klema 与 Laub [256] 的 比较 简单 的 证 明 。 

证 明 HA ATA > 0, PALA o( ATA) C [0, 400). 记 o(474)={o3,o2,…,o2}, 并 

将 它们 的 顺序 安排 成 o, > oa > BO, >0= Oy 二 二 ne È 4, Un ,Vn 是 对 应 
的 正 交 特征 疝 量 组 ， 而 且 

Vi = [vi 820] (6.2.6) 


Va = [Orga Ursa Pal (6.2.7) 
于 是 , FH E, = dieg(o,,0,,--+,0,)> 则 有 ATAV, = V 52, 由 此 得 到 
DUVPIATAV Ei’ =I (6.2.8) 


另 有 ATAV, = Va x O WE VIATAV, = O, WE AV, =O. $ U, = AV, E7, 则 
由 式 6.2.8), 我 们 有 UTU, = I 了。 选择 任意 一 Us, 使 得 = [U1, Uz] EX. 于 是 


UTAV, LT4V _[ E Oo} _ fe, oj_ 
UTAV = | grav, orav = lurs, ol = [3 o| = 
从 而 得 到 所 希望 的 结果 A=ULV™, E 
数值 01,02,… ,0 连同 oppi = opp =… = om = 0 一 起 称 作 矩 阵 A 的 奇异 值 。 


定义 6.2.1 IERE Amyn 的 奇异 值 o, 称 为 单 奇异 值 , E o,f oj, Vi Fie 
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下 面 是 关于 奇异 值 和 奇异 值 分 解 的 儿 点 解释 和 标记 。 
(1) nxn ERV 为 酉 短 阵 , H V TRR (6-2.3), 得 AV =U, 其 列 向 量 形式 为 


Gi 1=1,2,---,7r 
Ay, a [9o Bon, 429 
Pi f iarthrt erin (6.2.9) 


Elk, V 的 列 向 量 v, RAER A 的 右 奇异 向 量 (right singular vector), V 称 
为 A MAR HEERE (right singular vector matrix). 

(2) m x m SHE U EERE, 用 UT 左 乘 式 (6.2.3), UNA = EV, 其 列 向 量 形 
KA 


T ; 
H Wis FHA yr 
wA= 6.2.10 

i i=r+l,r +2, p,n ( ) 


因此 , U 的 列 向 量 w 称 为 矩阵 A 的 左 奇异 向 量 (left singular vector), 并 称 U 
为 4 HAG ay SEE (left singular vector matrix). 
(3) 用 uf 左 乘 式 (6.2.9), 并 注意 到 uu = 1, 易 得 


ullAv,=0,, i=1,2,---,min{m,n} (6.2.11) 
或 用 矩阵 形式 写成 
o 0 0 
DB O 0 am 1 0 
UHAV= o a ， 五 = : : : (6.2.12) 
0 0 on 


式 (6.2.3) 利 式 (6.2.11) 是 矩阵 奇异 值 分 解 的 两 种 定义 方式 。 事 实 上 , 式 (6.2.3) 
很 容易 由 式 (6.2.11) 导出 。 由 于 U W V OSE mxm Ala xn ERE, AL 
UU” = Ip X! VV” = 了,, 所 以 在 式 (6.2.11) RAER U MR V" 后 , 立即 
得 式 (6.2.3)。 这 也 可 以 看 作 是 定理 6.21 的 另 一 种 推导 。 

(4) 矩阵 A 的 奇异 值 分 解 式 (6.2.3) 可 以 改写 成 向 量 表达 形式 : 


r 
A=} ouf (6.2.13) 
i=1 


这 种 表达 有 时 称 为 4 的 并 向 其 (奇异 值 ) 分 解 (dyadic decomposition) 134, 
(5) 由 式 (6.2.3) 易 得 
AAP =Us"U# (6.2.14) 
这 表明 , mxn 矩阵 4 的 奇异 值 o; 赵 矩 阵 乘积 448 的 特征 值 (这 些 特征 值 臣 


非 负 的 ) 的 正平 方 根 。 
(6) 当 和 矩阵 A AYER r= rank(4) < min{m,n} 时 ， 由 于 奇异 值 oppi = or42 = … = 
o, =0, h= min{m, n}, 故 奇 异 值 分 解 公式 (6.2.3) 可 以 简化 为 


A=U,2,VE (6.2.15) 
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式 中 
区 diag(ol ca 0) 


式 (6.2.15) BREE A 的 截 尾 奇 异 值 分 解 (truncated SVD) WIET FH AE 
(thin SVD)。 与 之 形成 对 照 ， 式 (6.2.3) 则 称 为 全 奇异 值 分 解 (full SVD). 
(7) ORME Amen 具有 秩 +， 则 
加 mx m HIRR U 的 前 7 询 组 成 矩阵 4 的 列 空 间 的 标准 正 交 基 。 
@ nxn BHM V 的 前 > WARE 4 的 行 空间 (或 AM 的 列 空间 ) 的 标准 下 
交 基 。 
@ V 的 后 n- r PRERE A 的 零 空 间 的 标准 正 交 基 。 
@ U 的 后 m — r WEARER AM 的 零 空间 的 标准 正 交 基 。 
GLB, GE 4 的 奇异 值 应 该 能 够 描述 A 的 奇异 性 质 。 上面 的 定理 从 数学 上 严 
格 地 叙述 了 这 -一 事实 。 
定理 6.2.2 81 4 A eC" (m >n) 的 奇异 值 为 


0, 20,2°'7 25,20 


则 
oe = pin, {Elp rank(A +E) Ck- k= 12-40 (6.2.16) 


并 且 存 在 一 满足 Elis = ok 的 误差 矩阵 E 使 得 
rank(A+ Et) =k—1l k=1,2% n 


定理 6.2.2 表明 ,奇异 值 与 使 得 原 矩阵 A 的 秩 减 小 1 REEE E, 的 Frobenius 
范 数 相等 。 如 果 原 nxn 矩阵 A 是 正方 的 , 并且 只 有 一个 零 奇异 值 , 则 定理 6.2.2 表明 ， 
该 给 阵 的 秩 减 小 1 的 误差 矩阵 Bf Frobenius GESTS. 这 意味 着 , 误差 拭 阵 必然 是 
ARE. RAAH, 根据 定理 62.2, 当 原 nxn MRE 4 有 一 个 等 奇异 值 时 ,该 矩阵 
的 秩 rank(A) < n— 1， HUI A 本 来 就 不 十 满 秩 的 。 因 此 ,如果 一 个 正方 矩阵 具有 零 
奇异 值 , 则 该 年 阵 必定 是 奇异 矩阵 。 从 这 个 角度 讲 ， 零 奇异 值 刻画 了 和 抵 阵 4 的 奇异 作 质 。 
NEWER BAER EEE, 那么 这 个 竺 阵 就 接近 于 奇异 矩阵 。 推 而 上 之， 一 
PARED HEPAT ENE. 则 说 明 这 个 长 方 矩阵 一 定 不 是 列 满 秩 的 或 者 行 满 秩 
的 。 这 种 情况 称 为 矩阵 的 秩 亏 缺 , 它 相 对 于 矩阵 的 满 秩 是 一 种 奇异 现象。 总 之 , 无 论 十 正 
方 还 是 长 方 矩阵 , 零 奇异 值 都 刻画 矩阵 的 奇异 住 。 这 就 是 短 阵 奇异 信 的 内 在 涵义 。 

f 面 以 矩阵 方程 (6.1.2) 的 求解 为 例 , 考 可 奇异 信 分 解 的 几何 意义 。 

首先 ,我 们 可 以 把 


=VHz we z=V5 {6.2.17) 

看 作 是 利用 V 进行 的 一 种 正 交 变换 (也 可 认为 是 -种 旋转 ), 将 o 的 各 点 旋转 为 去 的 各 
点 。 同 样 地 ， 我 们 也 可 以 利用 UT 对 b 作 正 交 变换 : 

b = Ub (6.2.18) 
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即将 b 的 各 点 旋转 一 定 角度 后 变 为 8 上 的 各 点 。 现 在 ， 将 奇异 值 分 解 式 (6.2.3) RAR 
(6.1.2)， 并 利用 式 (6.2.17) 和 式 (6.2.18), 可 得 到 


b= 5% — = yt% 
于 是 , 线性 方程 组 (6.1.2) 的 求解 过 程 可 以 解释 为 一 系列 的 线性 变换 操作 ,， 即 
buy nb S pbs ,Vis 


注意 , SA SOREL OT 可 直接 计算 为 


gta P 引 (6.2.19) 
其 中 
E` = diag(1/o,, 1/09,--- ,1/0,) (6.2.20) 


把 mxn HERE 4 视 作 从 n 维 (复数 ) 向 量 空间 C" 到 m 维 (复数 ) 向 其 空间 Cm 的 

线性 映射 有 时 是 很 方便 的 。 此 时 ， 关于 奇异 值 分 解 的 唯一 性 ， 有 以 下 结果 518, 

(1) 非 零 奇异 值 的 个 数 + 和 它们 的 值 oon ,cr HET IER A 是 唯一 确定 的 。 

(2) 若 rank(4) = r, WBE Ax = 0 的 z(e C”) 的 集合 即 4 的 零 空间 Null A(C C”) 
Fi n—r 维 的 , 因此 可 选择 正 交 基 {v U ,vwn} 作为 A 在 C" 内 的 零 空 
间 。 从 这 个 意义 上 讲 , V 的 列 向 基 张 成 的 C" 的 子 空间 Null(A) 大 唯一 确定 的 ， 
但 是 各 个 向 量 只 要 能 组 成 该 子 空间 的 正 交 基 , 它们 就 可 以 自由 地 选择 。 

{3) 可 以 表示 成 = Aw 的 y(s Cm) 的 集合 组 成 4 的 像 空间 Im4, CE r 维 的 , 而 
Im4 的 正 交 补 空间 (Im4)+ 十 m-r 维 的 , 因此 可 选择 (tt, tga: tm} 作 
为 Im4 在 Cm 内 的 正 交 补 空间 内 的 正 交 基 。 由 U 的 列 向 量 ag, teas ,Um 
张 成 的 Cm 的 子 空 间 (mA) 是 唯一 确定 的 。 

(4) 车 0; 是 单 奇异 值 ( 即 0; op Vi #4), W w 和 ws 除 相差 一 相 角 (4 为 实数 算 
阵 时 , 相差 一 符号 ) 外 是 唯一 确定 的 。 也 就 是 说 , w; 和 au FIRRA d? (j = vaT, 
且 9 为 实数 ) 后 ， 它 们 仍然 分 别 是 矩阵 4 的 右 和 左 奇异 向 基 。 


6.2.2 ”奇异 值 的 性 质 


FHS LAE, 分 别 详细 讨论 奇异 值 的 各 种 性 质 。 为 统一 计 , QE A 和 B KIA 
mxn EPF 并 县 ra =rank(A), p= min{m,n}. 
WERE A 的 奇异 值 排列 为 


Omax = 01 È 02 2 + È Op- P Op = Fin 2 O (6.2.21) 


并 且 用 o.(B) EREB B WR i AKERE. 
矩阵 的 各 种 变形 与 奇异 值 的 变化 有 以 下 关系 。 
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(1) mx n SER 4 SESE AP 的 奇异 值 分 解 为 
.48 = VETUN (6.2.22) 


EDERE A 和 48 具有 完全 相同 的 奇异 值 。 
(2) P #1 Q 分 别 为 m xm Fil nx n AHERN, PAQ™ 的 奇异 值 分 解 由 
PAQ"™=UZ5V" (6.2.23) 


给 出 , 其 中 , Ò = PU, V = QV. 就 是 说 , 矩阵 PAQ 与 4 具有 相同 的 奇异 
A, 即 奇异 什 具 有 本 不 变性 , 但 奇异 向 量 不 同 。 
(3) AMA, AA™ 的 奇异 值 分 解 分 别 为 


AHA=VETEV", AAX =UEETUH (6.2.24) 
其 中 n-rt 
ETS = diag(o?, 02,- ,02,0,... ,0) (6.2.25) 
mort 
EET = diag(o?, 07,--- ,07,0,--- ,0) (6.2.26) 
注 ; 484 和 AAF HA Hermitian MBF, Hermitian ARENA AES SE 
分 解 是 一 致 的 。 
(4) m xn 矩阵 A 的 奇异 值 分 解 与 nx m 维 Moore-Penrose J” BIER 41 之 间 存 
在 下 列 关系 : 
A = vrtu" (6.2.27) 


th, ST 由 式 (6.2.19) 给 定 。 
证 明 前 三 个 性 质 显然 。 为 了 证 明 性 质 (4), $ G = VB1U9。 于 是 , 有 
AGA = (USV®\V S'US U SV") 
=UDD EVH -ULVI=A 
GAG = (V S'U" U SV” (V gtu") 
=vityriu® =V xU =G 
AG =UXX'U" = (AGE 
GA=VX' SV" = (GA)! 
EI G 满足 Moore-Penrose 广义 道 矩阵 的 定义 。 因 此 ，G 是 矩阵 4 的 Moore-Penrose J“ X 


WERE, 即 性 质 (4) 成 立 。 E 

BIR U 和 VV 相对 于 4 不 是 唯一 确定 的 , E OER At 是 唯一 确定 的 。 特别 地 ， 
车 4 是 一 个 正方 的 非 奇 异 矩阵 , 则 AT = AT 因此, 在 这 一 情况 下 , 如 果 4 的 奇异 值 
是 oap ,an， 那么 A 的 奇异 值 就 是 /oa la …… ,1/on。 
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AE 


关于 矩阵 和 它 的 子 乱 阵 的 奇异 值 之 间 的 关系 , 有 上 下面 的 定理 ， 常 被 称 为 奇异 值 交织 
定理 (interlacing theorem for singular values). 

EH 6.2.32) pa GL] G A E-A mxn SARE, 其 奇异 值 m > oy > 
RP, r= min{m,n}. Æ pxq SEM Bat A PREM, ADH y >y 2 2 Yninipa)? 
则 


“Boys 


ÈY% 1=1,2,---,min{p,g} (6.2.28) 
并 且 
Vi 2 Tt(m—p+(n—g? ÍS min{p+g- m, p+q- n} (6.2.29) 
矩阵 的 奇异 值 与 矩阵 的 范 数 、 行 列 式 、 条 件数 、 特 征 值 等 有 着 密切 的 关系 。 
L SHES ERMKR 
矩阵 4 的 谱 范 数 等 于 4 的 最 大 奇异 值 , 即 
lAllsvec = 01 (6.2.30) 


根据 短 阵 的 奇异 值 分 解 定理 , JHE RSE A 的 Frobenius 123% ||Allp 是 西 不 变 的 ， 
B UAV |p = [Alles 故 有 


1/2 
Alle = [Eier (6.2.31) 


#=19=1 


= |U" AV Ip 一 上 le 
= tot to? (6.2.32) 


EEH, 任何 一 个 矩阵 的 Frobenius 范 数 等 于 该 矩阵 所 有 非 零 奇异 值 平 方 和 的 正平 方 根 。 
考虑 矩阵 A 的 秩 近似 , 并 将 其 记 作 Ap 其 中 , & <r =rank(A). ERE A, 定义 如 


k 
A=} nuo, kcr 


WA 与 秩 为 天 的 任 一 矩阵 B 之 差 的 1, 和 Frobineus 范 数 分 别 为 


alte k A ~ Bli = |A ~ Aglla = okt (6.2.33) 


cl BIB = |A- Allè = obr tokrat + oR (6.2.34) 
这 一 重要 结果 是 许多 概念 和 应 用 的 基础 。 例 如 ， 总 体 最 小 一 乘 、 数 据 压缩 、 图 像 增 
强 、 动态 系统 实现 理论 , 以 及 线性 方程 的 求解 等 问题 都 需要 用 一 个 低 秩 矩 阵 近似 4。 
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2 奇异 值 与 行列 式 的 关系 
WA 赵 m xz 正方 矩阵 。 由 于 西 矩阵 的 行列 式 之 绝对 值 等 上 1, 所 以 由 定理 6.2.1 有 
[det( A)| = [det E| = oyog on (6.2.38) 
车 所 有 o; BARES, MW |det(A)| 40, 这 表明 A 是 非 奇 异 的 。 如果 至 少 有 一 个 oli >r) 
STE, 便 有 det(A) = 0, 即 A 是 奇异 的 . 这 就 十 之 所 以 把 全 部 o, 值 统称 为 奇异 值 的 原 
因 。 综合 式 (6.2.34) AIX (6.2.35), AT 一 个 nxn 矩阵 A, 下 列 不 等 式 成 立 ; 
no, > Alle > 4 
of > oio, > |det(A)| > on 
Alp 2-0; > |det( A)” (6.2.36) 
Idet(A}l¥" > on > |det(A)|/I Alp 
Na/ det Ay] > 1/0, > max {1 ELAle/ don fe”) 
这 些 不 等 式 遇 然 是 粗略 的 评价 , 但 有 时 是 用 的 。 
3. 奇异 值 与 条 件数 的 关系 
对 于 一 个 m xn 矩阵 A, 其 条 件数 也 可 以 利用 奇异 值 定 义 为 
cond{A) 一 aiyop， p=min{m,n} {6.2.37} 
由 定义 式 (6.2.37) 可 以 看 出 , 条 件数 是 一 个 大 十 或 等 于 1 的 正 数 , 因为 ci > cp。 最 
然 , 由 于 至 少 有 一 个 奇异 值 o, = 0， 故 奇异 矩阵 的 条 件数 为 无 穷 大 ， 而 条 件数 虽然 不 是 
无 穷 大 , 但 却 很 大 时 , 就 称 A 是 接近 奇异 的 。 这 意味 着 , 当 条 件数 很 人 时 , A 的 行 向 是 或 


列 向 重 的 线性 相关 性 很 强 。 另 由 定义 式 (6.1.8) DH, ESR V 的 条 件数 等 于 1。 
从 这 个 意义 上 讲 ， 正 父 或 西 矩阵 是 “ 埋 想 条 件 "的 。 式 (6.2.37) 也 可 用 作 条 件数 cond(4) 


的 评价 。 
考虑 超 定 方程 Ax = b. iI, AT AMA 的 奇异 值 分 解 为 
AA = VEV" (6.2.38) 
即 和 矩阵 AMA 的 最 大 和 最 小 奇异 值 分 别 古 矩阵 4 的 最 大 和 最 小 奇异 值 的 平方 , 故 
cond( AFA) = d = [cond(A)]? (6.2.39) 


E 


言 之 , 矩阵 ATA 的 条 件数 是 矩阵 4 的 条 件数 的 平方 倍 。 


4. 奇异 值 与 特征 值 的 关系 
设 nxn 正方 对 称 和 矩阵 A 的 特征 值 为 入, 和 2,… An (Ad > Ao 之 … 2 AN) 奇异 值 
为 gon yon (Oy 2 03 Bi Dy > O)s Mi oy > IAL on 人 129) cond(A) > 


IAil/nte 
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特别 值得 指出 的 是 , 奇异 值 分 解 提供 了 在 实际 信号 处 理 中 发 生 的 一 些 重要 问题 的 定 
HER. 

问题 1: 一 矩阵 与 低 秩 矩 阵 是 如 何 接近 的 ? 

SR. 如 果 AC Cw 具有 奇异 值 


01 BBO, > Op HH Ty =O 


WW rank(A) =r, H 


rant ce jA- Bip = ORs 


Seth, FA Cnxn EAR, Mo, 大 到 奇异 矩阵 集合 的 距离 。 因 此 ，1/cond(4) = 
On fo, =0,/Allp 是 4 接近 奇异 的 相对 测度 。 

问题 2 一 处 阵 的 值 域 与 零 空间 起 什么 ? 

BBs WRU = ua tty] MV = fv1,V2,… ,v0 分别 是 左 和 右 奇 异 向 量 矩 
BERISHA, JEH rank(4) =r, W Null(A) = Span{v,,1,0-42)°'°, Ua} Range(A) = 
Span{u,, ta e ,ar)。 即 是 说 ， 一 矩阵 的 值 域 是 与 非 零 奇 异 值 对 应 的 奇异 向 量 张 成 的 竺 
空间 ,而 零 空 间 则 是 与 零 奇异 值 对 应 的 奇异 向 量 张 成 的 子 空间 。 

问题 3: 怎样 度量 O HRY) k 维 子 空间 是 否 接 近 ? 

BR: 假定 nx k HERE Y = fyi,yo,… ,9%]】 和 2Z = [z1)z2，,… =] 县 有 正 交 列 ， 
并 且 51 = Span(Y) 和 S, = Span(Z) 分 别 是 矩阵 Y 和 Z 的 列 向 量 张 成 的 子 空间 。 若 
oon o po, Æ YTZ 的 奇异 值 , 则 


dist(31, 84) = min -= zll = f1- o? 
ist(3 S2) yes, za zl l2= y fi 


上 述 问 题 答 案 的 证 明 可 在 文献 [184] 中 找到 。 
6.2.3 ”奇异 值 的 性 质 汇 总 
为 了 方便 读者 参考 ， 下 面 汇总 了 算 阵 的 奇异 值 的 性 质 。 


1 奇异 值 服从 的 等 式 关系 [280 

(D HERE Aji, MUSE BEE AT 具有 相同 的 奇异 值 。 

(2) HER A, 的 非 零 奇异 值 是 448 或 者 AYA 的 非 零 特征 值 的 正平 方 根 。 

(3) o > 0 是 矩阵 Amen 的 单 奇 异 值 , HHRH o? 是 AAT uf ATA 的 单 特征 值 。 
(4) 车 p= min{fm,n}, 且 01,02,… ,0p 是 矩阵 Amyn 的 奇异 值 ， 则 


tr (a"a) = Yo? 
i=l 


(5) SERET IIR MIHA THERES SLL TOM, 即 | det(A) = 0102… 0 
(© 矩阵 4 的 谱 范 数 等 于 A 的 最 大 奇异 值 ， 即 Alleges = nu 
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(mM Hmen, WS TE Anas 有 


1/2 
| J} { At Ag 
Omin( A) = min { ( aie :@F#0 


一 min {(@ AB Aw)? valle =1,2ecr} 


8) Emn MATERE AL 有 


(42) 
= max {( ae eÉ “iazo 


Ca) oe =1, we Cn} 


= max 
(9) Æ mx m ERE A 非 奇异 , 则 


一 一 1/2 
1 -mex f (24 D"A =) izago secr} 


aly 


(10) # A=U B 引 VE JE mxn AE A 的 奇异 值 分 解 , 则 A 的 Moore-Penrose 
MEE 


x o 
t= 1 H 
ata [7 ole 


(11) FF o1,02,… ,0p 是 m x n SRE A 的 非 零 奇 异 值 (其 中 , p = min{m,n}), WUE 
we (a al 具有 2p 个 非 零 奇异 值 o ,oo 0n 0p 和 m-n PER 


异 值 。 


2， 奇异 值 服从 的 不 等 式 关 系 (2241,[225),(270), [82], [290] 
QQ) BAM B Emxn BE, 则 对 于 1<6j<p i+j<p+ (p= minim, n} 有 
Oi4j-1(A + B) < 0;(A) + 0;(B) 


特别 地 , 当 了 = 工时 , (A+B) < o;(4) +o (B), 1=1,2,---,p 成立 。 
(2) 对 矩阵 Anns Brant 有 


Fmasl A+ B) < omax(A) + Omax(B) 
(3) # AR B Æ mx n JER, Y 


» 
Sle,(4 +B) -oA < IBI, p= min{m,n} 


j= 
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(4) Æ Amym = [a1,02,… ,am] 的 奇异 值 o (A) 2 (A) >… 之 0(4), 则 


k 


k k 
lem at(A? < Saka; < DOA, k=l, 
j=l j=1 2=1 


(5) 若 p= min{m,n}, H Anya 和 Brn 的 奇异 值 排列 为 ci(4) > oA) 
op(A), oi(B) > (B) > > 0p(B) Ml o(A + B) > (A+ B) 
o,(A+B), 则 


Vey 


Ci4j-1(AB") <0,(A)o,(B), 1S ij <p, i+j<p+l 


(6) 设 mx (n—1) WERE BMA mx n 和 矩阵 A LER ABO BE, 并且 它 们 的 
奇异 值 都 按照 目 降 顺序 排列 ， 则 
0, (A) > 0,(B) > (A) > o(B) > ++» > 0, (A) > o,(B) 20 
RP, A= min{m,n 一 1}。 


(7) 设 (m—1) x n HERE B ERE mxn 矩阵 A 任意 一 行 得 到 的 年 阵 ， 并 且 它 们 的 
奇异 值 都 按照 非 降 顺 序 排列 ， 则 


(A) 2m(B) > o(A) 2 0(B) >- 20.(A) > 0(B)>0 


式 中 , h= minfr 一 1}。 
(8) 矩阵 Ann 的 最 大 奇异 值 满足 不 等 式 


1/2 
Oman( A) > [2a(a"a)] 
6.2.4 Rae NII 


在 奇异 值 分 析 的 应 用 中 , WAARHEDE AA E EB 
下 面 的 定理 给 出 了 通 近 质 基 的 评价 。 z 
定理 6.24 4 4 cR 的 奇异 值 分 解 山 A = Dower SH, XP, p = 
rank, = 
E k< p, 并 且 A= So uor RAER EH 3p 34 H EAA Frobenius 范 数 度量 : 


i=1 


lA Blge = lA — Alape = Cen (6.2.40) 


A-A = 
naig, l4- Ble = A -Ale 


o2 (6.2.41) 
i=k+1 


tH, q=min{m,n}. 
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证 明 详 见 文献 [140}，[31 引 战 [233]. 

在 信号 处 理 和 系统 理论 中 , 最 常见 的 线性 方程 组 Ax = b RAE AAEM 
SR), ERER EE A & Cmxnm 的 行 数 m ESR A, Hor =rank(A)<n. >A ff 
奇异 值 分 解 由 式 4 =UV" 给 出 , 其 中 , E= diag(a,,---,0,,0,--- 0). 考察 


G=vortu" (6.2.42) 


RF, St = diag(1/01,… ,1/0,,0,… , 们 。 由 奇异 值 的 性 质 (4) 知 ，G 是 A 的 Moore- 
Penrose 广义 道 抢 阵 。 因 此 ， 
ĉ = Gb = V X'U”b (6.2.43) 
给 出 最 小 二 乘 最 小 范 数 解 。 此 时 , 解 的 误差 矩阵 由 
Fa = (AM AST = V(87 Eyy" (6.2.44) 


给 出 。 式 (6.2.43) 可 表示 为 


r 


Ths = > (ufb/o;)v; 


ist 


它 是 最 小 一 乘 问题 

min || Ase — bilo (6.2.45) 

的 最 小 范 数 解 ， 相 应 的 最 小 残 差 为 
pis = | 42rs — Bla = leary , tml" (6.2.46) 
应 用 奇异 值 分 解 求 解 最 小 二 乘 问题 的 方法 常 简称 为 奇异 值 分 解 方法 。 虽 然 在 理论 上 ， 
4i>r 时 奇异 值 o = 0, 但 是 计算 出 来 的 奇异 值 cn i > r 并 不 会 等 于 零 , 有 时 甚至 表 
现 出 比较 大 的 扰动 。 因此 , 需要 有 计算 秩 > 的 估计 值 # 的 方法 。 在 信号 处 理 和 系统 理论 

中 , 常 将 该 估计 值 称 为 “有 效 秩 ”。 


有 效 秩 确 定 有 以 下 两 种 常用 方法 。 
L 妇 一 化 奇异 值 方法 
计算 归 一 化 奇异 信 
=Z (6.2.47) 
Cl 
选择 满足 准则 
DET (6.2.48) 


的 最 大 整数 作为 有 效 秩 的 估计 值 fo TA, 这 一 准则 等 价 于 选择 满足 
人 ie (6.2.49) 


的 最 大 整数 #。 式 中 , e ROR MATE, 它 根 据 计 算 机 精度 与 (或 ) 数据 精度 选取 。 例 
如 , 选取 e= 0.1 或 者 <= 0.05 等 。 
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2. 范 数 比方 法 
令 m xn JERE Ay RER m x m SEE A 的 移 上 近似 ,定义 该 近似 第 阵 与 原 短 阵 的 
Frobenius 范 数 比 为 
"= Tale = VET F h=min{m,n} (6.2.50) 
并 选择 满足 
vk) >a (6.2.51) 


的 最 大 整数 作为 有 效 秩 估计 f 其 中 ,a 十 接近 丁 1 的 阅 值 , 例如 a = 0.997 等 。 
采用 以 上 两 种 准则 确定 出 有 效 秩 # 后 , 可 将 


Big 一 Sar/ae (6.2.52) 

t=1 
看 作 是 真实 最 小 二 乘 解 zLs 的 一 个 合理 近似 。 显 而 易 见 , 这 种 解 就 是 方程 组 Ape =b 的 
最 小 一 乘 解 ,其 中 


Ar =Y oanu} (6.2.53) 
i=l 


在 最 小 二 乘 问题 中 , 用 A 代替 A 相当 于 过 滤 掉 小 的 奇异 值 。 当 4 ENAREN 
观测 数据 得 到 时 , 这 种 过 滤 能 够 起 很 大 的 作用 。 容易 观察 出 , 式 (6.2.52) 给 出 的 最 小 二 乘 
解 ers 仍然 包含 了 n 个 参数 。 然 而 ,由 于 线性 方程 Ar 一 已 秩 亏 缺 意 味 着 = 中 只 有 > 个 
参数 是 独立 的 ， 其 他 参数 是 这 个 独立 参数 的 重复 作用 战线 性 相关 的 结果 。 和 在 许多 应 骨 
H, 当然 希望 能 够 求 出 这 个 线性 无 关 的 参数 , 而 不 是 包含 了 见 余 因素 的 n 个 参数 。 换 
言 之 , 我 们 的 目的 是 只 估计 主要 因素 ,并 剔除 掉 次 要 因素 。 在 线性 代数 中 , 这 相当 于 如 何 
从 矩阵 A 的 n 列 中 挑选 出 7 个 线性 无 关 的 列 来 。 怎 样 挑选 这 些 线性 无 关 的 列 称 为 子 集 
选择 问题 。 

在 秩 号 缺 的 情况 ,利用 SVD 进行 子 集 选 择 是 必要 的 。 Golub 等 人 曾 提 出 过 一 种 基 
于 SVD 的 子 集 选 择 方法 "8, 

算法 6.2.1 ( 子 集 选择 算法 ) 

步骤 1 计算 4 的 SVD, 并 确定 A 的 有 效 秩 fo 

步骤 2 计算 置换 矩阵 P, 使 得 在 AP = [B,, B] 中 的 矩阵 B, € C™*i 的 列 是 “ 足 
够 线性 无 关 的 ”。 

PRS 将 hz = 0 的 LS 问题 变换 为 求 4 己 |0| = b i) LS 解 > Ch, BOK 
1B1z -blia 的 极 小 化 变量 z- 

由 于 


min B12 -bl > Ax ~ bila 
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所 以 置换 矩阵 P 应 选 得 使 残 差 (I - BL Big 的 范 数 尽 可 能 小 。 但是, 这 有 可 能 产生 不 稳 
定 的 解 。 例 如 , 对 于 
1 1 0 1 
A=[1 l+e ol, b=] -1 
0 0 1 o 


R f= 2H P=I, W min||B,z— bll = 0 48 Bibl, = O(1/e), EP LS #8 z = Bib 

不 稳定 。 这 个 例子 说 明 ， 应 该 在 选择 烈 的 线性 无 关 性 和 它 给 出 的 残 差 范 数 ({ 即 解 的 稳定 

性 ) 之 间 取 折衷 。 考 虑 到 这 些 因 素 ，Golub 等 人 利用 基于 SVD 的 子 集 选 择 , 提出 了 求 方 

程 hz = bP z 的 独立 参数 的 最 小 二 乘 解 的 下 述 实际 算法 nsa, 称 之 为 低 秩 LS 方法 。 
算法 6.2.2 ( 低 秩 LS 方法 ) BE AE R™ be Rm, 本 算法 计算 


a[i], 


步 双 1 计算 SVD 即 UTAV = diag(01,… ,on)， WARK A 并 根据 # 将 VV 分 
BRA 


æ = argmin 
em 


Va V 

vel val 
其 中 , V,, E RP, 然后 存储 Vi 和 Vae 

PR? 利用 列 主 元 QR 算法 (算法 6.2.3) 计算 QVI VAIP = (Ru, Rul) 然后 
计算 AP =(B,, Bz) » Bye RF, 

$R3 计算 z= (BTB,)' Blo. 

下面 是 步骤 2 用 到 的 列 主 元 QR 算法 。 

算法 6.2.3 ( 列 主 元 QR 分 解 ) 8 EAE A RO, 其 中 , m > n。 下 面 的 算 
法 计算 7 = rank( A) MAET QR 分 解 


T [Ru Ry» 
Q ar= |% al 


> Ru e R?" 是 上 三 角 的 非 奇异 矩阵 。 作 为 输出 结果 ，4 的 上 三 角 部 分 存放 R 的 
上 三 角 部 分 , 置换 矩阵 P 用 整数 向 量 piv 编码 (E piv 的 第 j 个 元 素 等 于 整数 m, 则 P 
的 第 了 列 仅 第 mm 个 元 素 为 1, 而 其 他 元 素 皆 为 零 )。 
for 7 =1,2,---,n 
ej) = AQ: m, TAC: m, J) 
end 
r= 0;7 = maxfelj) = ,e(n)} 
求 满足 clk) = 7 的 最 小 整数 k (1 <k <n) 
while 7 > 0 
r=r+1 
piv(r) =k; A(1 : m,r) > A(1 : m, k); e(r) = e(k) 
u(r: m) = house(A(r : m,r}) 
A(r : m,r : n) = row.house(A(r : m,r : n), vfr : m)) 
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Alr+1:m,r)=vr+1:m) 
fori=r+li:n 
(i) = eft) ~ Afr, i)? 
end 
ifr<n 
r =max{c(r + B),--- ,e(n)} 
求 满足 e(k) = 7 NORD EER k(r +1 <k <n) 
else 
T=0 
end 
end 


得 到 rank(A) = 2 和 
0.0815 
ss = |0.1545 
0.0730 
010 0.0848 
P=j1 0 0|, w= (0.2275 
001 0.0000 


顺便 指出 , b~ Aslla =% ||b— Axl = 0.1966. 


应 用 算法 6.2.2， 则 得 到 


有 必要 指出 上述 最 小 二 乘 解 只 考虑 了 线性 方程 一 边 的 误差 , 它 的 数值 性 能 比 不 上 
同时 考虑 方程 两 边 误差 的 总 体 最 小 二 乘 方法 ( 详 见 第 7 章 }。 与 低 秩 最 小 二 乘 方 法 一 样 ， 


也 有 低 秩 总 体 最 小 二 乘 方法 , 但 是 它们 的 子 集 选择 方法 明显 不 同 。 


6.3 ”奇异 值 分解 的 数值 计算 


前 面 介绍 了 奇异 值 分解 的 定义 、 性 质 及 求解 线性 方程 的 奇异 值 分 解 方法 。 本 节 讨 论 
奇异 值 分 解 A = ULV 的 数值 计算 : 给 定 矩阵 Amen 如 何 用 尽 可 能 高 的 精度 计算 其 


ARE CARRERE Vaen 与 (或 ) 左 奇异 向 量 矩 阵 Umme 
求解 一 般 矩 阵 的 奇异 值 问 题 的 最 常用 算法 可 以 分 为 两 大 类 ; 
(1) QR 分 解 
(2) Jacobi 旋转 
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6.3.1 ”奇异 值 分 解 的 QR 分 解 算法 


这 类 算法 通常 分 两 个 阶段 进行 : 第 一 阶段 为 矩阵 的 一 重 对 角 化 , 即 应 用 Householder 
变换 将 矩阵 Ans ZMA ENAERE ( 除 主 对 角 线 及 其 上 面 条 对 角 线 的 元 素 外 , 其 
他 元 素 全 为 零 )。 第 二 阶段 为 QR 分 解 , 即 保持 二 重 对 和 角 和 矩阵 的 形式 不 变 , 利用 正 交 变换 
使 上 一 条 对 角 线 的 元 素 逐 渐 减 小 ,使 矩阵 接近 对 角 和 矩阵 。 此 时 ， 需 要 具体 构造 正 交 和 矩阵 
V, GU 可 以 不 予 保留 。 

应 用 Householder 变换 进行 二 重 对 角 化 又 分 为 两 个 步骤 : 第 一 步 使 4 的 第 1 列 除 
(1,1) 元 素 以 外 的 其 他 元 素 全 部 变换 为 零 ; 尔后 , 对 除 (1, 1) 元 素 以 外 的 第 1 行 再 作 House- 
holder 变换 ， 以 便 使 (1,2) 元 素 以 右 的 其 他 元 素 全 部 变换 为 零 。 第 二 步 对 除去 第 1 行 和 
第 1 列 后 剩 下 的 其 余部 分 进行 与 第 一 步 类 似 的 Householder 变换 , 使 得 (1,2) 和 (2,2) 以 
外 的 第 2 列 元 素 和 (2,2) 和 (2,3) 以 外 的 第 2 行 元 素 全 部 变换 为 零 。 如 此 重复 , 直到 经 过 
(2n — 2) 次 Householder BM, SBM A 的 二 重 对 前 化 ， 如 图 6.3.1 所 示 。 与 此 同时 ， 
对 每 行进 行 的 Householder 变换 也 同时 对 V 进行 , 其 中 , V 的 初始 值 设 为 单位 矩阵 I。 


0 ‘1 5 


0 To 


图 6.3.1 ”利用 Householder 变 换 进 行 一 重 对 角 化 


将 对 角 元 素 记 作 4,， 上 对 角 元 素 记 作 e; (定义 e =0) FER EMA KER 
SK, 从 而 剩 下 一 个 nxn 的 正方 矩阵 G. 

在 第 二 阶段 即 QR 分 解 阶段 , 对 G 应 用 QR 方法 进行 对 角 化 , 即 反复 应 用 正 交 变 换 ， 
使 上 对 角 元 素 逐 渐 减 小 。 利用 Givens 旋转 矩阵 T, THEM G 时 ，G 的 第 1,2 列 将 发 生 
变化 , 原先 为 零 的 (2,1) 元 素 会 变 为 非 零 值 。 由 于 它 十 多余 出 来 的 ， 所 以 要 用 Givens E 
RE ST ER, 以 使 (2,1) THREES. He, 由 于 GT RAR. 第 1,2 行将 发 生变 化 , 原来 
等 于 零 的 (1,3) 元 素 又 会 有 非 零 值 。 然后, 为 了 消去 (1,3) TR, 我 们 又 需要 右 磁 Givens 
矩阵 了 。 这 样 一 来 ， 又 会 产生 非 零 的 (3,2) 元 素 。 重 复 这 样 的 Givens 旋转 过 程 , 最 后 为 
了 消去 (n,n 一 1) 元 素 而 左 乘 SX。 由 于 没有 (n+ 1) 列 存在 , 所 以 最 后 仍然 能 够 得 到 一 个 
二 重 对 角 和 矩阵 。 上 述 过 程 称 作 追 赶 (chasing) 过 程 。 图 6.3.2 示 出 了 追赶 法 消 零 的 顺序 。 

在 实际 计算 时 ， 将 矩阵 G 分 块 成 尽 可 能 小 的 二 重 对 角 和 撼 阵 可 以 加 快 追赶 过 程 的 收 
敏 。 因 此 , 在 利用 Givens 旋转 进行 追赶 前 ， 首 先 应 分 析 全 部 的 @ He, 检查 一 下 是 否 有 
等 于 零 的 元 素 。 例 如， WR e, = 0, 则 可 以 将 G 分 块 成 两 个 独立 的 二 重 对 角 矩 降 , 即 有 


Go 
e-[3 é 
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一 一 


图 6.3.2 ”追赶 法 消 零 的 顺序 


这 样 ， 即 可 对 Gi 和 Ga 分 别 进行 独立 的 对 角 化 。 
需要 强调 的 是 , 计算 矩阵 4 的 奇异 值 分 解 时 , 如 果 先 通 过 正 交 变换 把 它 变 成 三 角 和 矩 
阵 形式 ， 那 么 奇异 值 分 解 的 数值 稳定 性 通常 将 增加 [79 。 


63.2 FRESH 


在 应 用 计算 机 进行 奇异 值 分 解 的 数值 运算 时 , 通常 使 用 浮 点 运算 。 令 SU) RAR 
运算 的 浮 点 计算 结果 , 则 有 8 
flat b) = a(l + ey) + 0(1 +E) 
fila x b) = (a x b) x (1+ £3) 
Fi(a/b) = (a/b) + €4) 
JUVE = VXI + es) 


RP, lel<e, 并 且 。 <1 代表 计算 机 精度 。 

由 于 初始 和 矩阵 4 的 元 素 往 往 是 通过 观测 或 者 计算 得 到 的 , 而 观测 数据 或 者 计算 不 可 
避免 地 存在 一 定 的 误差 , 因此 初始 矩阵 元 素 本 身 存在 小 的 相对 不 确定 度 。 显然 , 即使 对 这 
样 的 矩阵 使 用 完全 精确 的 奇异 值 分 解 计算 方法 ,所 得 到 的 奇异 值 和 奇异 向 量 元 素 也 存在 
固有 的 不 确定 度 。 洲 使 用 某 种 方法 计算 得 到 的 奇异 值 和 奇异 向 量 元 素 的 误差 界 接近 它们 
固有 的 不 确定 度 ， 则 称 这 种 方法 症 求解 奇异 值 问题 的 精确 算法 ， 并 称 这 种 算法 得 到 的 奇 
异 值 和 奇异 向 量 的 计算 结果 是 精确 的 。 基于 这 一 考虑 , Demmel 与 Veselic 于 1992 年 提出 
了 一 种 在 一 般 矩 阵 Anyen 的 右边 使 用 单 边 Jacobi 旋转 ( 称 为 右边 Jacobi 旋转 ) 的 浮 点 运 
算 , 求解 奇异 值 问题 的 上 列 算法 V, 

算法 6.3.1 (奇异 值 分 解 的 右边 Jacobi 算法 ) > tol 是 用 户 自 定义 的 先 代 计算 停止 
准则 , E V 的 初始 值 设 为 单位 和 矩阵。 下 面 的 算法 计算 矩阵 4wmxn 的 奇异 值 和 右 奇 异 向 量 
JEM V. 

for all pairs i < j 

Wam ATA 的 6 人 Thm fE gl: 


(6.3.1) 
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HAUEM [e 外 对 外 化 的 右边 Jacobi 旋转 和 阵 [ee 2"): 


E= (0-a) /(20); t= senle)/(iel + VITE) 
cs =1/VI FË; sn=esxt 
更 新 4 的 第 i 列 和 第 j 列 : 
fork=1:n 
tmp = Ay, 
Api = cs * imp — sn * Ag; 
Aj, = sn*tmp + cs * Arj 
endfor 
ENARA HEKER V: 
fork=1:n 
tmp = Vey 
Ves = Ca * tmp — sn * Vez 
Vij = sn * tmp + cs * Vey 
endfor 


endfor 


重复 以 上 计算 步 又 ， BBR. ATR ILE: 对 所 有 i < 了 的 子 和 矩阵 ， 均 有 


[el/ Vos < tole 
上 述 算法 的 结果 如 下 : 
(了 ) 最 后 得 到 的 矩阵 A 各 列 的 范 数 给 出 奇异 值 的 计算 结果 。 
(2) RARE Y 的 各 列 给 出 与 上 述 奇异 值 对 应 的 右 奇异 向 量 。 


(3) 更 新 后 的 矩阵 A 的 各 列 给 出 与 土 述 奇 异 值 对 应 的 左 奇异 向 量 。 
注意 ， 虽 然 我 们 在 第 4 章 按照 大 多 数 文献 的 叫 法 ,将 Jacobi 旋转 和 Givens 旋转 当 
作 完 全 相同 的 旋转 , 但 是 上 述 算法 中 的 Jacobi 旋转 确实 与 Givens 旋转 不 同 。 其 不 同 点 在 


于 参数 cs 和 on 的 计算 不 一 样 。 


6.4 ”乘积 奇异 值 分 解 


圭一 季 介 绍 了 一 般 和 矩阵 的 奇异 值 分 解 。 从 本 节 开 始 , 将 依次 讨论 几 种 特殊 情况 下 短 
阵 的 奇 异 值 分 解 ， 它 们 分 别 是 乘积 奇异 值 分 解 、 上 义 奇 异 值 分 解 和 结构 奇异 值 分 解 。 本 
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节 介绍 乘积 奇异 值 分 解 的 有 关 理 论 和 实现 算法 。 
6.4.1 ”乘积 奇异 值 分 解 问题 

所 谓 乘 积 奇异 值 分 解 (product singular value decomposition, PSVD), 顾名思义 就 是 
VAM EMESRER BTC 的 奇异 值 分 解 。 考 虑 矩阵 乘积 

A=BT™C, Be R™, Ce R*", rank(B) =rank(C) = p (6.4.1) 

从 原理 上 讲 , 乘积 奇异 值 分 解 等 价 丁 直接 对 矩阵 的 乘积 进行 党 通 的 奇异 信 分 解 。 然 
而 ， 事 先 直接 计算 矩阵 的 乘积 ， 再 计算 矩阵 乘积 的 奇异 值 分 解 往往 会 让 小 的 奇异 值 产 生 
大 的 扰动 。 为 了 涪 明 这 - -点 , 请 看 一 个 例子 。 


peana 令 
-fa fh eala ih wen Bl 108 228] an 


显然 , C 是 一 个 正 交 矩阵 , 而 BT 的 两 列 [1, —1]7 和 e, eT 相互 正 交 。 和 矩阵 乘积 BTC 的 
真实 奇异 值 为 m = V3 和 og = v3]。 然而 , 若 [6] 小 于 截止 误差 e 式 (6.4.2) 的 浮 点 计 


算 结果 为 BTC = 4l 1 ~i | asan o = V3 和 os = 0. A lE] > 1/e, M 


AUEIRSINVERERIR BTC = J z £ 4 其 奇异 信 为 m = 0 和 os = Viléle 因此 ， 
矩阵 乘积 BTO 的 两 个 实际 的 奇异 值 o = V3 和 o = vie 在 经 过 浮 点 算法 计算 后 ,最 
小 的 奇异 值 被 扰动 为 0, 与 实际 的 奇异 值 相差 明显 。Laub 等 人 273] 指出 ， 当 线性 系统 接 
近 不 可 控 和 不 可 观测 时 ， 小 奇异 值 的 精确 计算 显得 十 分 重要 ， 因 为 如 果 一 个 非 零 的 小 奇 
异 值 被 计算 为 零 值 ， 则 会 导致 错误 的 结论 ,即将 一 个 最 小 系统 判断 为 非 最 小 系统 。 

上 述 例子 说 明 , 直接 对 两 个 矩阵 的 乘积 BTC 进行 奇异 值 分 解 在 数值 上 是 不 可 取 的 。 
因此 ， 有 必要 考虑 一 个 更 加 困难 的 问题 : 能 否 使 得 计算 式 (6.4.1) 中 4 = BTC 的 奇异 值 
分 解 尽 可 能 与 给 定 的 B 和 C 具有 接近 的 精度 ? 这 就 是 所 谓 的 (矩阵 ) 乘积 奇异 值 分 解 
问题 。 

FAS FA eee Fernando 与 Hammarling 于 1988 年 首先 提出 来 的 到, 它 可 
以 用 下 面 的 定理 来 表述 。 

定理 6.4.1 (乘积 奇异 值 分 解 ) HI $ BT e Cmxp，C e Czxn， 则 存在 酉 矩阵 
UEC™™,V ECM” 和 非 奇异 矩阵 Q < CPx? 使 得 


了 O, 
UB”"Q = | Og | oow-| oy z | (6.4.3) 
Zp c. 


式 中 
Ep = diag(lsusa sj， 1> 8, 2° Bs, >0 


Zo=diagltuta tl), 1>h B+ Bt, >0 
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且 
s +R =l i=l e,r 

有 关 本 定理 的 证 明 , 可 参见 文献 [153], 但 在 6.6 节 (约束 奇异 值 分 解 ) 中 , 将 介绍 一 

种 更 简单 的 证 明 方法 。 根据 定理 6.4.1, 不 难 验证 
UBHCVY = diag(O0, Op, 2720) 

因此 , 矩阵 乘积 BC 的 奇异 值 由 零 奇异 值 和 非 零 奇异 值 两 部 分 组 成 ， 其 非 零 奇 异 值 由 
sito i=1,2, ,7 给 出 。 
6.4.2 ”乘积 育 异 值 分 解 的 三 角 型 Kogbetliantz 算法 

定理 6.4.1 给 出 了 乘积 奇异 值 分 解 的 严格 形式 。 值 得 指出 的 是 ,在 文献 [153] 给 出 这 
种 严格 定义 之 前 , 已 由 Heath 等 人 205) 于 1986 年 提出 了 矩阵 乘积 奇异 值 分 解 的 一 种 松 
BOBS, 而 且 Heath 等 人 的 方法 直接 给 出 了 一 种 计算 乘积 奇异 值 的 实际 算法 。 

给 定 一 个 pxm KEE BB 和 一 个 pxn SHE C, 并 假定 它们 都 具有 满 秩 rank(B) = 
rank(C) = p < min{m,n}. HÆ H, 矩阵 乘积 BTC 有 p 个 非 零 奇异 值 , 其 余 min{m,n}—p 
个 奇异 值 全 部 为 零 。 令 


e c-Rel0e 644) 


式 中 , Op. Qo 同 为 正 交 矩阵 , H Ry, Ro 均 为 上 三 角 短 阵 。 于 是 , 矩阵 乘积 
BTO~ Qs [Par 引 Qc (6.4.5) 


上 式 表 明 , ERR BTC 的 p EFSA SH*T LS AMHR RsRo H pt 
非 零 奇异 值 相同 。 

由 于 算 阵 变换 为 三 角 算 降 之后， 能够 提高 奇异 值 分 解 的 数值 性 能 I, Lk SE 
ReRe 的 非 零 奇异 值 具有 比 直接 计算 BTO 的 奇异 值 更 好 的 数值 性 能 ,使 得 RsRe 的 
非 替 奇 异 值 具有 与 给 定 的 B 和 C 接近 的 精度 。 

Kogbetliantz 算法 59 是 计算 任意 正方 矩阵 奇异 值 分 解 的 一 种 最 常用 的 有 效 方法 。 
这 种 算法 的 基本 思想 是 将 n x n E 4 的 奇异 值 分 解 问题 转化 为 一 系列 x 2 ERAT 
异 值 分 解 , 也 就 是 用 一 个 迭代 的 循环 序列 计算 nxn 正方 矩阵 的 奇异 值 分 解 。 以 呈 = 4 为 
例 , 在 序列 循环 法 的 每 一 步 , 计算 以 对 角 线 为 中 心 的 2x 2 甜 阵 的 奇异 值 分 解 以 消去 对 角 
线 以 外 的 矩阵 元 素 , 循环 的 顺序 如 下 : 


3 
5 
6 (6.4.6) 


BOD 


1 
0 
4 
5 


WNES 


0 
称 之 为 行 排序 , 当然 也 有 列 排序 。 式 中 , 标 1 的 元 素 第 一 个 被 消去 , 标 2 的 元 素 第 二 个 被 


消去 , 如 此 等 等 。 需要 注意 的 是 , 在 消去 标 2 的 元 素 时 , 原先 已 消去 的 标 1 元 素 可 能 会 重 
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新 出 现 非 零 值 。 更 一 般 地 , 人 在 消去 标 (> 2) 的 元 素 时 ， 原 消去 的 标 (k - 1) 元 素 有 可 能 
重新 出 更 非 零 值 。 当 然 , 对 角 线 上 的 元 素 ( 标 0) 不 被 消去 。 上 述 算法 可 以 保证 原 矩 阵 和 4 
收 敏 为 对 角 和 矩阵 形式 。 实 际 中 发 现 ,算法 至 少 是 二 次 收敛 的 。 

对 于 一 个 三 角 矩 阵 A,, Kogbetliantz SEH EAR KEMERE Ay. RI Ay 运 
用 Kogbetiiants 算法 ， 又 将 下 三 角 和 矩阵 变换 成 上 三 角 矩 阵 4s。 办 此 ， 随 着 迭代 的 进行 ， 
SEE A, 在 上 三 角 和 下 三 角形 式 之 间 来 回 变 换 。 HH, 在 每 一 循环 中 , 只 有 一 个 矩阵 元 素 
被 2 x 2 奇异 值 分 解 消去 。 以 4 x 4 FASE, 循环 顺序 如 图 6.4.1 所 示 。 


x @ x x x @ x x @ x 
x x x x x x + x x x + x @ x 
一 一 一 
x x x x x x + x x 
x x x x 
x x x 
+ x @ + x @ x 
一 一 一 
十 x x ++ x @ + + x 
+ x + + x 


图 6.4.1 利用 一 次 扫 零 将 上 三 角 答 阵 变换 为 下 三 角 矩 阵 


图 6.4.1 中 , 原 米 的 非 零 元 素 用 x 标注 , 新 产生 的 非 零 元 素 用 + 表示 , 而 标 有 @ 的 
元 素 则 是 下 一 步 需 要 消去 的 。 这 样 , 经 过 一 次 提 零 , 就 得 到 了 让 二 角形 式 。 下 一 次 扫 j 零 使 
用 完全 相同 的 顺序 , 并 再 一 次 产生 上 三 角 佐 阵 。 

计算 乘积 奇异 值 分 解 的 上 述 方法 是 Heath 等 人 提出 的 P, 通过 观察 这 一 方法 ,可 
以 得 出 以 下 结果 : 

(1) 这 种 算法 理论 上 等 价 于 对 矩阵 A, 应 用 Kogbertlianta 算法 , 所 以 每 一 步 算 阵 4 

的 非 对 角 线 元 素 理论 上 都 是 减 小 的 , 并 且 最 终 将 收敛 为 零 值 。 

(2) 每 一 步 只 涉及 B, 的 两 列 和 Cy, 的 两 列 被 读 取 或 被 修正 。 

(3) 每 一 步 只 计算 A, 的 四 个 元 素 。 这 四 个 元 素 的 两 个 总 是 位 于 对 角 线 上 ， 它 们 可 
以 从 前 一 步 知道 , 因此, 如 果 利 用 对 a 人 e+? 和 oY 的 了 解 , (1,2) 元 素 的 化 简 
需要 计算 4 次 向 量 内 积 , 但 是 对 (1,3),… , (1,n) 各 元 素 的 化 简 却 只 需要 计算 3 
次 向 量 内 积 ， 而 对 剩 下 元 素 的 化 简 只 计算 2 次 向 量 内 积 。 

(4) 4 B=0 时 ， 上 述 方 法 实质 上 就 变 成 了 计算 4 = BTB 奇异 值 分 解 的 算法 (只 
需要 单 边 的 Jacobi 方法 )。 这 种 “ 单 边 ”奇异 值 分 解 方法 是 Hestenes 于 1958 年 
提出 的 S, Aik, Heath 等 人 采用 双边 Kogbetliantz 算法 的 “双边 ”奇异 值 分 
解 方法 可 以 看 作 是 Hestenes 单 边 奇异 值 分 解 方法 的 拓 广 。 

概 而 言 之 ,Heath 等 人 的 算法 理论 上 等 价 于 对 4 = BTC 使 用 Kogbertliantz 三 角 型 
奇异 值 分 解 算法 。Kogbertliantz 算法 使 用 QR 分解, 将 BE 和 Cp 分 别 变换 为 三 角 和 矩阵 
形式 , 并 且 在 迭代 过 程 中 , 通过 使 用 平面 旋转 ， 能 够 保持 两 个 矩阵 的 三 角形 状 。 夺 代 阶 段 
的 收敛 有 可 能 慢 , 尤其 是 当 存 在 多 重 奇异 值 , 或 者 奇异 值 的 大 小 比较 接近 时 , 收敛 为 对 角 


6.4 TREES 365 


矩阵 的 过 程 更 慢 。Heath 等 人 通过 数值 计算 证 明 , 上 述 算法 具有 比 直 接 计 算 BTO 的 奇异 
值 分 解 更 好 的 精确 度 。 
然而 , 在 某 些 情况 下 , Heath 等 人 的 算法 会 产生 与 直接 计算 BTC 的 奇异 值 分 解 相 类 
似 的 误差 。 以 最 小 二 乘 问题 中 的 法 方程 为 例 。 
例 eaa anu 令 


-J0 E _ _ _fo 1Jfo aga fa 1 

s-h f. e=» a-we- p JE J-E ise] 
HMA IIOW o, = |&I/V2 和 oa = VIFO. 显然, F lE > e 但 El? < e» WHERE 
A EGEA A= BTO = |} 1|。 由 于 BY 和 C FIN LSA, 使 用 Heath 等 人 
的 算法 计算 的 奇异 值 将 与 直接 计算 A 的 奇异 值 相同 , 为 ô, = 0 和 oy = V2。 显然, 小 的 
奇异 值 的 计算 结果 51 = 0 与 真实 的 奇异 值 o, = |/V3 存在 较 大 的 误差。 


6.43 ”乘积 奇异 值 分 解 的 精确 计算 

为 了 克服 Heath 等 人 的 算法 的 这 一 缺点 ，Drmac 于 1998 年 提出 了 乘积 奇异 值 分 解 
的 精确 计算 算法 Lad， 其 基本 思路 如 下 : 任何 一 个 矩阵 A SIE SC EASE, 其 奇异 信保 
持 不 变 。 因 此 , 若 令 

B'=TBU, C'=(T") cv (6.4.7) 

其 中 , TERR, U,V 为 正 交 矩 阵 ， 则 BTC’ = UTBTCV 与 BTC 具有 完全 相同 的 
SRE (包括 零 奇 异 值 在 内 ), 并 且 很 容易 由 BTOC 的 奇异 值 分 解 得 到 BTO 的 奇异 值 分 
解 , 因为 


BTC'=UTBTTT(TT) CV =UT(BTONW 

给 定 矩阵 B e Rpxm,C © RPX", p< min{m,n}, JF BAIT BF, i = 
1,2,… ,p。Drmac 的 荚 积 奇 异 值 分 解 算法 如 下 。 

算法 6.4.1 (乘积 奇异 值 分 解 PSVD(B, CO))034 

步骤 1 计算 B, = diag(lbilz tbla- ,lopllz), 令 By = BLB,C, = B,C. 

步骤 2 利用 算法 4.7.1 ( 列 旋转 的 Householder QR 分 解 算法 ) 计算 CT 的 QR 分 解 ， 
即 

TH R 

CS lone a 
其 中 , Re R, rank(R) =r; Q JEZER. 

步骤 3 利用 标准 矩阵 乘法 计算 矩阵 F = BHR”. 

PRA 计算 矩阵 F H QR 分 解 (最 好 使 用 列 旋转 的 Householder QR 分 解 算法 ): 


Fr=Qr el 


PRS WHERE RF 应 用 奇异 值 分 解 的 右边 Jacobi 算法 (算法 5.3.1), 计算 Rp 
的 奇异 值 分 解 二 VTRpW 。 
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输出 ”和 矩阵 乘积 BTC 的 奇异 值 分 解 结果 为 
[73°] _ M f gi (BTC) [aw o1,_,)] 


XP, Ae D 表示 和 矩阵 4 与 DD 的 直 和 。 

ELRMEH, IAME D = diag(dy,d,,--- ,4p) 的 广义 逆 矩 阵 Dt 仍然 为 对 角 抵 
阵 ， 其 对 角 元 素 为 1fd, (d, # 0) 或 0 (d; 一 0)。 

计算 矩阵 乘积 BTO 的 奇异 值 分 解 的 上 述 算法 已 被 推广 到 三 个 矩阵 乘积 的 奇异 值 分 
解 的 精确 计算 059, 4 


A= B'SC (6.4.8) 
AF, Be RPX™, Se RP”, CE R", pm, geno 
假定 正则 条 件 


rank(B) = p, rank(C) =q, rank($) = p = min{p, q} (6.4.9) 


满足 这 一 正则 条 件 的 三 个 矩阵 (B, S, C) RA CIEE (regular matrix triplet)!139]。 
在 这 种 情况 上, 和 矩阵 A 将 有 min{m,n} — p = min{m,n} — min{p, q} 个 确定 的 零 奇 异 值 。 
现在 的 问题 是 , 用 尽 可 能 高 的 相对 精度 计算 其 他 非 零 奇异 值 。 

FIRE Drmac 于 2000 年 提出 的 两 种 算法 139。 ` 

算法 6.4.2 (三 矩阵 乘积 BTSO 的 奇异 值 分 解 PSVD(B, S, C))039 

输入 Be RPX™, Se R”, CER”, pom, gan 

PRI WH B, = ding((lb7 lia ly l2,--- Hopla), C» = diag(llef lla, lezle s ezla)» 
中 , bf (é = 1,2,---,p) Ml GG = 1,2,… ,g) AEM BAC TAH. 然后, > 
B, = BİB, C, = CİC, S, =B,SC,. 

HR 2 利用 行 和 列 旋转 计算 矩阵 S, 的 LU 分 解 ， 


11,9,0,=LU 


式 中 
Le R*?, Ue BPX, p= rank(£) = rank(U), L,,=1, 1<i<p 


步骤 3 利用 标准 的 矩阵 乘法 运算 计算 


M=L1'H,B,, N=UNIC, 


应 用 算法 6.4.1 直接 得 到 MTN 的 奇异 值 分 解 。 
输出 “三 年 阵 乘积 BTSO 的 奇异 值 分 解 为 


[75°] = dor e780) cover») 


RP, Q Qr VAW 为 在 步骤 3 中 使 用 算法 6.4.1 得 到 的 结果 。 
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算法 6.4.3 (SEMI BTS-1C 的 奇异 值 分 解 PSVD(B, S-!, C)) 189 
输入 BeR™, Se RX, Ce RX", rank(S) =p 
步骤 1 计算 


B, = diag(||Bills, bzta- ,bs l2) 
C, = diag(||cf lla; He2l2,.. , lezll2) 


HH, EGS 1,2,… ,p) M GG = 1,2,.… ,0) THRE B 和 C 的 行 向 量 。 然后 , 令 
B, = B71B,C = CrlC,S = 0718B7" 
步骤 2 ”利用 行 和 列 旋转 计算 矩阵 Si 的 LU 分 解 : 


W,S,%,=LU, L4=1,1ļ<i<p 
步骤 3 利用 标准 的 矩阵 乘法 运算 计算 
M=U7H,B,, N=L'HiC, 


应 用 算法 6.4.1 直接 得 到 MIN 的 奇异 值 分 解 。 
输出 SERRE BTSO 的 奇异 值 分 解 为 


PE erraewern 


RP, Q Qr VAW 为 在 步骤 3 中 使 用 算法 6.4.1 得 到 的 结果 。 
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6.2 WPT A 的 奇异 值 分 解 。 和 矩阵 的 奇异 值 分 解 己 有 多 种 推 )” 形式 ，6.4 节 
的 矩阵 乘积 的 奇异 值 分 解 只 是 其 中 之 一 。 从 这 节 起 ， 我 们 将 讨论 其 他 形式 的 奇异 值 分 解 ， 
它们 是 矩阵 束 (A, B) 的 奇异 值 分 解 (RA) ASHE). 矩阵 三 元 组 (4, B,C) 的 
奇异 值 分 解 {约束 奇异 值 分 解 ), 结构 奇异 值 分 解 和 Takagi 奇异 信 分 解 。 由 于 奇异 值 分 解 
有 多 种 推广 , 所 以 有 些 文献 把 算 阵 4 的 奇异 值 分 解 称 为 普通 奇异 值 分 解 (ordinary SVD, 
OSVD)。 本 节 先 讨论 广义 奇异 值 分 解 (generalized SVD, GSVD), 其 他 几 种 推广 的 奇异 值 
分 解 则 留待 6.6 节 再 介绍 。 


6.5.1 “对称 正定 问题 
4) ORME AG Az = ABz 中 , 满足 广义 特征 什 - 特征 向 量 方程 


Az = \Br 
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的 标量 A 利 非 零 向 量 > 分 曾 称 为 矩阵 束 (A, B) 的 广义 特征 值 和 广义 特征 向 量 。 求 解 广 
义 特 征 值 问题 Ax = XBz 的 方法 之 -是 上 面 的 全 等 变换 : 


A-AB (XTAX) —A(XTBX) 


对 称 -正定 对 称 - 正定 


并 且 希 望 寻 求 一 种 稳定 的 有 效 算 法 ， 它 计算 的 X HR XTAX 和 XTBX 二 者 都 是 
“标准 型 ” 的 。 最 简单 的 标准 型 就 是 对 角 算 阵 。 
定理 6.5.1 假定 AMB H nxn HERE, 并 定义 


Ci) =HA+(I-wB, perk (6.5.1) 


ETE pe [0,1] 2 C(x) 是 非 负 定 的 , HH 
Null(C(1)) = Null(A) N Null(B) (6.5.2) 


则 存在 一 个 非 奇 异 矩 阵 Q 使 得 QTAQ 和 QTBQ 二 者 都 是 对 角形 式 的 。 
证 明 选择 ye [0,1] fE Clu) ARGUE. 并 具有 性 质 (6.5.2) 式 。 设 


Do ， 
Qc p B|, P= daenda) di>0 


是 C(p) 的 Schur 分 解 ， 并 定义 Q, = Qudiag(D7?, In) MR Ay = QTAQ,, By = 
QTBQ, HC, = QTCW)Q,, 则 
c= [| =n tt 

由 于 Span{fektiyektla > €n) = Nal(C1) = Null(A,) NalK(B1)， 故 知 A, 和 B, 具有 
以 下 结构 : ao BO 

al[s a aeg 
其 中 ， An 和 Bu HE kxk HE, 且 I= pAn + (1 一 四 Bue 

假定 w 40. TH, # ZTB Z = ding(b,,b2,--- ,d,) 是 Bar 的 Schur 分 解 , 则 可 道 

过 令 Q = Qudiag(Z, Enr) 得 到 

QT BQ = diag(5 ,bi,0,.… ,0) = Dg 


和 
aag = tore) -a-nBie=4([§ 8 引 -a-aps)=zs 

另外 一 方面 , Hw =0, ME ZTA Z = diaga, az ap) 是 Ay, 的 Schur 分 解 , 并 令 
Q=Qydieg(A,I,_,)- 容易 验证 ,在 这 种 情况 矩阵 QTAQ 和 QTBQ 二 者 也 都 是 对 


和 角 的 。 a 
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对 于 对 称 - 正定 的 矩阵 束 ， 上 述 定理 给 出 下 面 的 结果 。 

推论 6.5.1 4 AAB EIR- EM, 则 存在 一 个 非 奇异 矩阵 Q = [aaa dal 
使 得 ` 

QTAQ =diag(o1,02, 7 ,0n), QUBQ = diag( fi Pa + Ba) 

H Aq, =à; Bq i= 1,2,… HR, 和; = 0,/8, 为 义 特征 值 。 

证 明 在 定理 6.5.1 中 令 = 0 ABA, 对 称 - 正定 矩阵 束 可 以 同时 对 角 化 。 推论 
的 其 他 部 分 很 容易 建立 。 L 
6.5.2 ”广义 奇异 值 分 解 

上 一 小 节 的 对 称 - 正定 问题 实际 上 又 可 以 写作 ATA- ABTB 的 形式 , 其 中 , 4 < 
Re", B € Rex*。 注 意 ， 由 定理 6.5.1 知 ， 存 在 一 个 非 奇 异 矩 阵 Q < R 使 得 
QT(ATA)Q 和 QT(BTB)Q 二 者 都 是 对 角 的 。 因 此 , 无 需 事先 计算 ATA 和 BTB, 就 
有 可 能 直接 由 A 各 求 出 广义 特征 值 X。 这 就 是 所 谓 的 广义 奇异 值 分 解 (GSVD) 方法 ， 
它 是 Van Loan 于 1976 年 最 早 提出 来 MD, 

定理 6.5.2 ( NARR 1) (54 BAC Cmxnm > n 和 BEC, 则 存在 
HERE U e Cmxm 和 V e Cre LA RSE EM Q eor”, W 


k n-k I, 
UAQ=[Z4 Ol, 34= S4 (6.5.3) 
O4 
k n-k Op 
VBQ=[E_, O], Zs= Sp (6.5.4) 
Tepe 
式 中 

Sq = diag(arr Orrg > Arpa) Sg = diag(Br Arpi Bree) (6.5.5) 


> 

0< Bay SSB <1 (6.5.6) 
af + PF=1, i=r+l,ri+2, ,r+s 

整数 kyr 和 s 分 别 为 


k = rank [al 5 r= rank 向 —rank(B) 


1> arpi 2-1 P Orpa >0 | 


s = rank(A) + rank(B) — rank [al 
证 明 ”本 定理 有 多 种 证 明 方 法 , 可 参见 Van Loan #82, Paige 与 Saunders 24, Golub 
与 Van Loan (134 和 Zina I499 的 证 明 。 这 里 给 出 的 是 Zha 的 构造 性 证 明 , 它 由 四 步 组 成 ， 
每 一 步 都 此 下 列 形 式 的 变换 : 
Af) s yOAMQg®, BEH) = yHOBHQH 
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jth, uO AV NAAR, 且 QM 非 奇 异 。 在 每 一 步 , 只 要 规定 UO, V® QH 以 
及 变换 后 得 到 的 矩阵 ACD, BOD, SAY =A HW BO =B. 

HR. AEM B HARMEN U BV, = diag(0, BY), Hh, DO = diag(s， 
-st) ITH. s 2 2 Bs, > 0. > 


52， 


UD=I, VY=su,, Q® =V diag(I, 551) 


则 
a% aia? ae), 2%-| 9 


FR QEM AP 的 奇异 值 分 解 为 ULAPV, = diag(ZQ),0), HH, BY = 
diag(t,,ta,-++ tp)» Ht, Bip B+ Bt, > 0. H 


UM =U, VO=T, Q® =diag(Vz,Ddiag((EQ), T) 


则 
Be — B® 
PRS 4 AO HARNEY UAG V; = diag( 39,0), 其 中 , EO = diago, 
way Wa) Hw Bw, B-- Bw, > 00 Hay = ull +w), 6 =A + ww) i= 
Tlr +2 ,r+ 和 SA = diagla,41,09)°°* apps) SB = Ging (G41, Appar obrta) 


容易 验证 , a, 和 B; (i=rt+lr+2,--,rt+s) 满足 式 65.6). > 
U® = diag(Z,Us) 
V@) = diag(I, VE) 
a= [3 -多 | diag(T, Va)diag(I, Sa, 1) 


则 
r n-r-t s t-s 
o o o r 
AM=10 O Ss, O s 
o o O Ojm-r-s 
和 
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步骤 4 经 过 适当 的 矩阵 置换 P) 和 P, t+ katte 后 , 我 们 得 到 


I, 
A®) = AMP, = Sa 
Oa4 


以 及 , 


On ! 
B® = P,B®P, = Sp i oO 
, : 


于 上 是, 就 得 到 了 所 需要 的 伪 对 角形 式 。 容易 验证 : 


rank(A) =r +s, rank(B) = k =r, rank 向 =k 


FE, 本 定 埋 得 证 。 L] 

根据 文献 [462], 式 (6.5.3) 的 对 角 和 矩阵 Da FISK (6.5.4) MIAE Sp 的 对 角 线 上 
的 元 素 组 成 广义 奇异 值 对 (Qs, 68;)。 由 号 4 和 Sy 的 形式 , 前 天 个 广义 奇异 值 对 分 为 二 种 
情况 : 

o;=1, B=0 i=1,2, ,7 
appi (84M Sp 的 元 素 )， t=rt+1r+2,--,rtes 

a,=0, B=1l i=r+8a+1l,r+s+2, k 
这 k 个 奇异 值 对 (as,B8,) 统称 矩阵 束 (A,B) 的 非 平 凡 广 义 奇异 值 对 ， 而 a/l = 
1,2,… ,有 称 为 矩阵 束 (A, B) 的 非 平凡 广义 奇异 值 (包括 无 穷 大 ， 有 限 值 和 零 )。 反之 ， 
对 应 于 式 (6.5.3) 和 式 (6.5.4) 中 零 列 向 量 的 另外 n 一 上 对 广义 奇异 值 则 称 为 矩阵 来 (A, B) 
的 平凡 广义 奇异 值 对 。 

定理 6.5.1 限制 矩阵 A 的 列 数 不 得 大 于 行 数 。 当 和 矩阵 A 的 维 数 不 满足 这 一 限制 时 ， 
定理 6.5.1 便 不 能 适用 。Paige 与 Saunders 49) 推广 了 定理 6.5.1, 提出 了 具有 相同 列 数 的 
任意 矩阵 束 (A, B) 的 广义 奇异 值 分 解 。 

定理 6.5.3 (广义 奇异 值 分 解 2) 849 REER A < Cmx” MM Bec, 则 对 于 分 
HAERE 


K= [al > t=rank(K) 
存在 酉 矩阵 
vec, veorr, weco, qecorr 
使 得 


LEA4Q = E, (WER, 2) 
t n-t 

VEBQ = D [W"R, 2) 
t ona 


372 第 6 章 奇异 值 分 析 


Ta Ig 
X= Da ， p= Ds (6.5.7) 
mxt Oa pxt Op 
并 且 Rech 非 奇 异 , HASHES TMM K HIRTA. ERE Ta 为 + x 7 PAE 
BIg 为 (一 7 一 8) x (t 一 "一 3) 单位 矩阵 ， 其 中 , > 和 s 的 值 与 所 给 数据 有 关 , BO, 
Al Og 分 别 为 (m 一 r 一 s) x (t 一 "+ 一 s) 维和 (p 一 t+ 二 7) x r BEM (这 两 个 零 矩 阵 有 可 
能 没有 任何 行 或 任何 列 ), 而 


Da= agai, ara ts) Dp = diag(Brr1, Ba++ ,B+s) 
满足 


1> Appi Z Opn Bo È Apya >0 O< Br S Brz SS rea <L 


o +B =l, i=sr+l,r +2 rts 

证 明 ”参见 文献 [23]1]。 

求解 广义 特征 值 问题 ATA - ABTB 等 价 于 求解 det(4T4 —-ABTB) =0. $ mxn 
JER A 和 p x n EE B 的 奇异 值 对 是 (a,b) 并 代入 入 = 0/8. 则 广义 特征 值 问 题 又 可 
进一步 等 价 为 求解 dett82484 - 0? BY B) = 0. MEE B 为 正方 矩阵 ， 并 且 非 奇异 时 ， 
则 有 

det(824HA - 02 BHB)=0 — det{(AB™)"AB™ — a?/f?] =0 

这 说 明 ， 当 B AFSRKETERN, MER (A, B) 的 广义 奇异 值 分 解 等 价 于 矩阵 
AB 的 奇异 值 分 解 。 

下 面 是 有 关 广义 奇异 值 分 解 的 几 点 注释 。 

注释 1 由 (.4,B) A 义 奇异 值 分 解 与 4B-! 的 奇异 值 分 解 之 间 的 等 价 性 显 见 , 若 
矩阵 B 为 单位 矩阵 (B = 站， 则 广义 奇异 值 分 解 简化 为 普通 的 奇异 值 分 解 。 这 一 观察 结 
果 也 可 从 广义 奇异 值 的 定义 直接 得 出 。 这 是 因为 , 单位 矩 帮 的 奇异 值 全 部 等 于 1, AT 
RER (AD) 的 广义 奇异 值 与 4 的 奇异 值 等 价 。 

注释 2 由 丁 AB 具有 类 似 于 商 的 形式 ， 以 及 广义 奇异 值 本 身 就 是 矩阵 AN B 
的 奇异 值 之 商 , 所 以 广义 奇异 值 分 解 有 时 也 被 称 作 商 奇异 值 分 解 (quotient singular value 
decomposition, QSVD)。 

注释 3 MEER B 不 是 正方 的 ， 或 者 BASHAM, 则 ABt (其 中 , Bt 
是 B 的 Moore-Perrose 上 义 逆 ) 的 奇异 值 不 一 定 对 应 为 矩阵 束 (A, B) 的 广义 奇异 值 。 更 
严格 地 ， 有 以 下 结论 。 

定理 6.5.4 (99 定义 
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# rank[A™, BY}! =n, 则 BY 是 唯一 定义 的 , 并 且 ABI, AAS TERR (A, B) 


HO OA BRAN FMA 
证 阴 [499 由 于 rank[A®, BHja = n, 定理 6.5.2 中 任何 两 组 变换 都 满足 下 列 关 系 : 


Q, = Qzdiag(U 11, U2, V 23) 
UT = Usdiag(U11, U22, V23) 
VE = Vřdiag(U 11, U22, V23) 


OB 
a ss | 六 
I 


Uy o} . Vu 
=Q: Uz SE! Un Va 
Vas, I Vas, 
O3 
=Q SE! | v 
I 


这 就 证 明了 ，Bi 不 存在 病态 问题 。 进一步 地 , 我 们 观察 
UAB} V" = diag(O, 3 4,55',0) 
只 有 和 矩阵 束 (A,B) 的 无 穷 大 的 广义 奇异 值 变 成 了 矩阵 AB MER. 而 其 他 的 所 有 


因此 


小 义 奇 异 值 保留 在 AB! 的 奇异 值 内 。 出 
下 面 进一步 分 析 Bi 的 性 质 。 ABBE, Bh 满足 下 列 等 式 : 

BB\B=B (6.5.8) 

B! BB}, = Bi, . (6.5.9) 

(BB})" = BBY (6.5.10) 


注意 , 矩阵 Bt, 是 只 满足 Moore-Penrose 广义 逆 矩 阵 条 件 (1). (2) 和 (3)， 而 不 满足 条 件 
(4) 的 正规 化 广义 逆 托 阵 。 

下 面 的 定理 9) 表明 ，BN 是 一 种 约束 最 小 化 问题 的 唯一 解 。 

定理 6.5.5 车 [4F, BHE 是 满 列 秩 的 , 则 BY, 是 下 列 约束 极 小 化 问题 的 唯一 解 ， 


min, AX lle (6.5.11) 

服从 约束 条 件 
BXB=B (6.5.12) 
XBX=X (6.5.13) 


(BX)! = BX (6.5.14) 
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ris 
AX |p 的 极 小 化 值 为 ,| 37 (0:/8,)?- 
i=r+1 


证 明 ke9 2 B 具有 奇异 值 分 解 


VBQ = [Sp, O] 


其 中 , By 有 大 列 。 由 于 rankL4E, BYE = n, HU k= n, 并 且 B = VEQ. HE 
阵 分 块 QUXV" = (Xj 并 使 之 适应 D, ME, 的 分 块 形式 , 则 可 证 明 , 为 了 满 
足 约束 条 件 式 (6.5.12)~ 式 (6.5.14), X 应 具有 以 下 形式 : 


oO Xiz Xiz 
X=Q|O ss o |v 
o 


O Irs 
这 是 因为 
WAX|2 = JU AQQ XV" è 
I. O Xg Xiz 
Sa o ss 0 
O}|O O Type 
= [X12 Xislllk + S455 le 
> S455 le 


-的 


i=r+1 


2 


F 


等 式 成 立 ， 当 且 仅 当 X= 0 H X =O, BIX = Bhe ` E 
6.5.3 ”广义 奇异 值 分 解 的 实际 算法 


如 果 4 或 BB 相对 于 方程 求解 是 病态 的 , 那么 计算 AB 通常 会 导致 非常 大 的 数值 
误差 , AL AB 本 身 进行 奇异 值 分 解 一 般 并 不 值得 推荐 采用 。 一 个 自然 会 问 的 问题 
是 , 能 否 绕 开 计算 ABO 这 一 步 , 而 直接 得 到 C = ABM 的 奇异 值 分 解 ? 这 是 完全 可 能 
的 , 因为 C = 4B-! 的 奇异 值 分 解 实质 上 就 是 两 个 矩阵 乘积 的 奇异 值 分 解 。 

Paige 9° 根据 C = AB 的 奇异 值 分 解 与 矩阵 乘积 的 奇异 值 分 解 形式 上 的 一 致 ， 
提出 了 一 种 实际 的 广义 奇异 值 分 解 算法 。 这 种 算法 的 关键 是 如 何 避 免 佐 阵 求 逆 Bo 以 及 
如 何 适 用 本 矩阵 B 奇异 的 一 般 情况 。 

先 讨论 矩阵 B 非 奇异 的 情况 。 令 Ay 和 By 均 代表 2 x 2 托 阵 ,它们 的 元 素 分 别 位 
于 4 BH ij 行 和 B 的 第 i,j 列 。 如 果 选 择 画 矩阵 U 和 V 使 得 


UMA, BEV =S (6.5.15) 


ij tij 


7x PATER. WU 
U'A; = SVHB,, (6.5.16) 
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结果 是 , UTA, 的 第 1475 VTB, 的 第 1 TT, UMA, MH 217 VOB, 的 第 2 
行 平行 。 Ak, 如 果 Q 是 使 得 YEBs@ WK ATED A AUER, BI 


(V"B,;)Q = (x 引 = p :| (6.5.17) 


则 UTAG te PSA. 对 于 nxn ESA C = AB, 可 以 执行 n(n 1)/2 
次 2 x 2 Kogbetliantz 算法 , (HM A, BAC 在 上 三 角 和 下 三 角形 式 之 间 米 回 变换 , 最 
后 收敛 为 对 角 矩 阵 形式 。 
上 义 奇 异 值 分 解 也 可 等 价 叙述 为 以 下 定理 184, 
定理 6.5.6 若 Ac OC™%”~"(m, >n) Be Cm >n) 则 存在 一 韭 奇异 矩阵 
XE Orr 使 得 


XB(APA)X = Dy = diag(latao On), a 20 


和 
XBIB)X = Dp = disg(B, Py, ,Pn), Pe>0 

RF, o = yapi, 称 为 矩阵 束 (A, B) A) SCS, HX 的 列 zx 称 为 与 ok 对 应 的 
广义 奇异 向 量 。 

定理 6.5.6 给 出 了 计算 矩阵 束 (A, B) 的 广义 奇异 值 分 解 的 多 种 算法 。 特别 地 ,我 们 
对 寻求 使 Ds AAMER SOAPS EEE X 更 加 感 兴趣 ， 因 为 在 这 一 情况 下 ,上 
义 奇异 值 o, 由 ya; 直接 给 出 。 下 面 就 是 这 样 的 两 种 实际 算法 。 

算法 6.5.1 (GSVD 算法 114651 

$R1 VARMA s, = AMA 和 S, = BUB. 

步骤 2 计算 S, MEA UYS, U, = D = diag, Y2 s Yn) 

S3 WAY =U,D" A C =Y"8,Y. 

步骤 4 计算 C 的 特征 值 分 解 GECQ = diag(aa oo an) 其 中 , QQ = 了 I。 

PRS 广义 奇异 向 量 矩 阵 为 X 一 YQ, BP 义 奇异 值 为 yey, b= 1,2,… ,n。 

证 明 直接 计算 给 出 


XIA A)X=AQ YIS YQ = QUCQ = diaglaboao Qn) 


由 步骤 2 的 结果 , 我 们 有 
HBHB)Y = (U,D Y? ES, (U, D) = 1 


由 于 QHQ = 了 ,所 以 上 式 分 别 左 乘 Q7 MER Q 后 , 则 有 
XBIB)X 一 GEYEBHB)JYQ =1 m 


算法 6.5.2 (GSVD 算法 2)[463) 
SM 计算 B 的 奇异 值 分 解 UBV = D = diagh, Y2 Yn). 


376 第 6 章 奇异 值 分 析 


R2 WHY = VDV, = diag(1/7 1/72 Yn) 
步骤 3 HH C=AY. 
步骤 4 计算 矩阵 C 的 奇异 值 分 解 UPOV, = D4 = diag(ai, an ;an)。 
BRS XHVYV, 为 广义 奇异 向 量 矩 阵 , 而 ay,k = 1,2,…,n BERERE (A, B) 
的 广义 奇异 值 。 
证 明 ”根据 算法 各 步骤 的 计算 结果 , 有 
X”(AĦAX) = VI (AY)Ħ(AY)V, = VI(C™O)V, = diag(oi 03, --- 0%) 
| 对 YH(BEB)Y =I ER vi MARV, 得 到 
X"(B"B)X = VEIV, =I 


这 就 证 明了 X"(ANA)X 和 X4(BRB)X 分 别 具 有 所 希望 的 形式 。 [ 
算法 6.5.1 与 算法 6.5.2 的 主要 区 别 在 于 : 前 者 需要 计算 矩阵 乘积 ATA 和 BHB, 而 
后 者 则 完全 避免 了 这 一 计算 。 正 如 前 面 已 说 明 的 那样 ,在 计算 两 个 矩阵 乘积 时 会 发 生 信 
息 的 丢失 ， 并 会 使 条 件数 变 坏 。 因 此 , 算法 6.5.2 具有 比 算法 6.5.1 更 好 的 数值 福 能 。 但 
是 ,由 于 需要 矩阵 求 道 或 矩阵 乘积 的 计算 ， 算 法 6.5.1 和 算法 6.5.2 的 件 能 或 多 或 少 都 会 
RIRE. 
— AP AY ARR Ge EE A EPERERA REN TOA AR ARAA EN Speiser 与 Van 
Loan 424 提出 (也 见 文献 [463]) 
算法 6.5.3 (GSVD 算法 3) 
PRL 计算 QR 分 解 


Al _ |Q 

加 -的 = 

其 中 , Q 和 Q 分 别 与 AM B 具有 相同 的 维 数 , 且 Re Cx* ALUM. BER 
非 奇异 , BD Null(4) nNul(B) = {0}。 


FR2 计算 CS 分 解 
B-f ells] 


其 中 , U1, U, 和 V 为 西 矩 阵 ，C = diag(cos(@,)), S = diag(sin(@,))» E 0 Sb <- < 
6 < 7/20 BETA, Æ X = RV, N X'(ATA- p?B"B)X =C%C- ASS, 因此 ， 


TXAR uy = cot(6,) 给 出 。 
FRE 利用 cy > etcn Fey 2 G 2 O (e> 0 ANR), HH, e = 


cos(ĝp) 0 


步骤 4 计算 乘积 ZT = RËV 的 QR AR, HH, Z = [z1, zo,… ,zn] A 
Treo 为 上 三 角 和 矩阵 。 由 于 


X = RV = (VËR) = (RÖV) * = (ZT) 4 = ZT" 
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AT A Pa, 故 有 Span{zar1 zara i Zn} = Span{Zar Zar2 + Babe 
定理 6.5.7 由 算法 6.5.3 产生 的 向 量 {2an Zaan Zn} 准确 张 成 广义 奇异 值 分 
RG ANA -ABTB 的 最 小 奇异 值 子 空间 , 其 中 


I- [8], < 


其 中 , R 由 步骤 4 的 QR 分 解 给 出 。 
证 明 ENC = diag(cos4,), Š = diag(sind,). WH, 0, = 0,0 $ A=U,CVIR, B= 
U,ŠSV”R. 由 于 
A-A=U\(C-C)VER 
和 
B-B=U,(8-S)V®R 


A A Č-C] pn 
Bl- [al], -[is-s]"" 
1998 年 , Drmac 提出 了 计算 广义 奇异 值 分 解 的 正切 算法 (tangent algorithm) 1351, 这 
种 算法 分 两 个 阶段 进行 : 第 一 阶段 将 矩阵 上 (4, 吾 ) 简化 为 一 个 矩阵 P: 第 二 阶段 计算 矩 
阵 F 的 奇异 值 分 解 。 正 切 算法 的 理论 基础 是 : 广义 奇异 值 分 解 在 等 价 变换 下 是 不 变 的 ， 
即 


所 以 


< eRlle a 
F 


(A, B) > (A’, B’) = (UTAS, V"BS) (6.5.18) 


RF, U,V RARE, 且 S 是 任意 的 非 奇异 矩阵 。 因 此 , 根据 定义 ， 两 个 矩阵 
K (A, B) A (A', B) 具有 相同 的 广义 奇异 值 分 解 。 

算法 6.5.4 (广义 奇异 值 分 解 的 正切 算法 ) M 

输入 JERE A = [a], az ;an] E R™*", BE RP", m Bn, rank(B) =n 


步骤 1 计算 


A4 = diag(Jerll2, Nezila,--+ 5 lel) 
A,=AA;', B,=BA;! 
步 邓 2 利用 具有 列 旋 转 的 Householder QR 分 解 算 法 计算 
加 -on 
步骤 3 通过 求解 矩阵 方程 FR= AHN, 计算 FF= AR. 
步骤 计算 矩阵 FE 
[o] =VTFU 
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步骤 5 计算 矩阵 
X= A HRU, W=Q lo I 


输出 (A,B) 的 广义 奇异 值 分 解读 作 


6.5.4 ”二 次 型 不 等 式 约束 最 小 二 乘 
在 最 小 二 乘 中 , 经 常 需要 在 R" 的 一 个 真子 集 内 极 小 化 14z - bl HW, 当 我 们 试 
图 对 有 噪声 的 数据 拟 合 一 函数 时 ， 需 要 
在 |Bzl < a 约束 下 ， 极 小 化 14z 一 blls (6.5.19) 
中 , Ae Rm"*",be R”, Be RX" ( 非 奇异 ), 且 a > 0。 这 样 一 种 在 二 次 型 不 等 式 约 束 
下 的 最 小 二 乘 问题 简称 为 二 次 型 不 等 式 约束 最 小 二 乘 (LSQI) 问题 had 。 
更 一 般 地 ,有 小 列 问题 ; 
在 Bz 一 dls < a 约束 下 极 小 化 ll4z 一 加 > (6.5.20) 
HP, AC R"*"*(m > n), be R”, B cR?” deR fla 20. 广义 奇异 值 分 解 清楚 地 表 
明了 LSQI 问题 的 可 解 性 。 若 
UTAX = diag(a,,a2,---,a,), UTU = In } (6.521) 
V™BX = diag(B,,G2,--- ,Py), VTV =Ip, q=min{p,n} 
是 (A,B) 的 / 义 奇异 值 分 解 ， 则 LSQI 问题 变换 成 
在 1Pag -ål <a REK, 极 小 化 |Pay 一 中 
其 中 , B=UTb,d= VTd, y= X'e., 目标 函数 的 直接 形式 为 


Day - 5/2 = lay, b+ 》 R (6.5.22) 
i51 i=n+1 
约束 方程 为 ` a 
[Day -ål =) Bm- 》 Ba (6.5.23) 
i=l isrtl 
这 就 简化 了 LSQI 问题 的 分 析 。 这 里 ,r = rank(.B), 并 假定 8.41 = Begg = 27 = By = 00 


下 面 分 析 简 化 之 后 的 LSQI 问题 式 (6.5.23). WE, SHIRA 
£ d? <a 


i=r+1 
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LSQI 问题 有 解 。 如 果 在 上 式 中 取 等 号 ， 则 式 (6.5.22) 和 式 (6.5.23) 一 并 表明 , 由 
d/s i=1,2 
w= bh/os i=r+lr+2- -mao (6.5.24) 
0, i=r+l,r +2 naD 
定义 的 向 量 是 LSQI 问题 的 解 。 另 一 方面 


L <a? (6.5.25) 


时 , 向 量 


是 Day 一 如 | 的 极 小 化 变量 。 如 果 这 个 向 量 也 是 可 行 的 , 则 我 们 就 得 到 了 式 (6.5.20) 的 
解 (然而 , 它 不 一 定 是 最 小 范 数 解 )。 因 此, 假定 


x (aè -a) + £ Ë >a (6.5.26) 
iimo \ 8 if 
这 意味 着 ，LSQI 问题 的 解 发 生 在 可 行 集 的 边界 。 剩 下 的 目标 就 是 
EllDgy—dl,=c4ARF, B/Mb|Day - bl, 
可 以 用 Lagrange 乘 数 法 求解 这 一 问题 。 为 此 , 定义 
Q0,¥) = [Day — 13 +All Day — dll? — 2”) 
并 令 8Q/Oy, = 0,1 = 1,2,… ,n, 即 得 线性 方程 组 
(DUD, + DEDp)y = DEE + ADBa 
假定 系数 矩阵 古 非 奇异 的 , 则 上 述 方程 组 的 解 向 量 yA) 的 元 素 为 


a,b; +X d, < 
i, i bg 
wr) = 


7 t=@tl,gta,--- jn 


AH, Lagrange FX 和 由 


$2) = Dav) — a3 = La fi- nii a =o 


的 解决 定 。 这 类 方程 称 为 长 期 方程 (secular equations), FRx (6.5.26) 可 看 出 $(0) > a7. 
又 由 于 oA) 对 于 和 > 0 是 单调 递减 的 ， 因 此, 式 (6.5.26) 意味 着 存在 唯一 的 正 X* 满足 
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pA) = o2。 可 以 利用 任 一 种 标准 的 求 根 方法 求 出 这 个 根 。 最 后 ， 原 LSQI 问题 的 解 由 

z= Xy(r") 给 出 。 
最 近 几 年 , 广义 奇异 值 分 解 在 语音 信号 处 理 和 模式 识别 中 相继 被 应 用 。 
多 麦 完 风 在 离散 时 间 k 采集 的 含 噪声 语音 信号 可 以 用 观测 模型 


lk] = af] + ofk] 


描述 。 式 中 , ofk] A ole] DHSS AMR kh. HS Ry = ELy[klyT[A]}- 
Ryy = Efulkjo™ [k]} 分 别 代表 观测 数据 的 自 相关 矩阵 和 加 性 噪声 的 自 相关 矩阵 ， 则 可 以 
对 它们 进行 联合 对 角 化 , 即 

R,y = Qdiag(o?, o2,... oe} 


i (6.5.27) 
Ry = Qdiag(n} ,QT 


2002 年 , Doclo 与 Moonen [78 证 明了 , 为 了 实现 多 麦克 风 语音 增强 , 使 均 方 误差 最 
小 的 最 优 滤 波 器 为 


Wik] = Bey Fl Fealk] = Rey [k] (Ry, [k] ~ Rosli) (6.5.28) 
sqa (1-1 F... 1-2) (6.5.29) 
mg Bi 


构造 p x m 观测 数据 矩阵 Y [k] 和 q x m 加 性 噪声 矩阵 Vk) 如 下 : 


yk -p+ fek -a+ 1] 
Yk = sk- y | Vik] = vr -1 (6.5.30) 
yal LoTR] 


RP, Vie] 古 平时 在 无 语音 信号 时 测量 得 到 的 相同 环境 下 的 加 性 噪声 数据 矩阵 。 于 是 ， 
只 要 计算 矩阵 束 (YR), VED 的 广义 奇异 值 分 解 ， 得 到 Q 和 广义 奇异 值 cz/m， 即 可 直 
接 获得 最 优 滤波 器 Wk 理论 和 仿真 结果 表明 ， 这 种 基于 广义 奇异 值 分 解 的 最 优 滤波 
器 显示 了 波束 形成 器 的 空间 指向 特性 , 有 者 很 好 的 多 麦克 风 语 音 增强 效果 。 

在 信息 恢复 系统 中 , 降 维 技 术 对 处 理 大 批量 数据 是 至 关 重要 的 。 为 此 , 数据 的 低 维 表 
示 必 须 是 全 部 文本 数据 一 个 很 好 的 记 近 。 模 式 识别 通过 使 类 内 散布 最 小 、 类 间 散 布 最 大 ， 
对 数据 进行 聚 类 。 然而， 这 种 识别 分 析 要 求 类 内 散布 矩阵 或 关 间 散 布 矩 阵 必须 有 一 个 是 
非 奇 异 的 。 但 是 ， 文 本 数据 矩阵 往往 不 能 满足 这 一 要 求 。2003 年 Howland 等 人 P81 证 
明了 , 利用 广义 奇异 值 分 解 , 无 论文 本 数据 维 数 多 少 , 都 可 以 实现 聚 类 ; 并 且 直 接 使 用 数 
据 拖 阵 的 广义 奇异 值 分 解 ， 还 可 避免 使 用 散布 矩阵 带 来 的 数值 稳定 性 问题 。 基 于 广义 奇 
异 值 分 解 , 文献 [231] 提出 了 紊 类 文本 数据 的 降 维 方法 , 这 种 方法 能 够 有 效 保持 文本 数据 


的 结构 。 
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6.6 ”约束 奇异 值 分 解 


前 玫 节 分 间 介 绍 了 奇异 值 分 解 (SVD)， 短 阵 乘积 的 奇异 值 分 解 (PSVD) MERER 
(A, B) 的 广义 奇异 值 分 解 (GSVD), 并 在 上 一 节 分 析 了 三 种 奇异 值 分 解 之 间 的 关系 。 
现在 考虑 一 个 新 的 问题 : 假定 矩阵 


是 从 二 阶 常 微 分 方程 

Px dz 
Er 
得 到 的 ， 则 矩阵 Ao 的 四 个 元 素 中 只 有 a 和 os 有 误差 , 元 素 “0” 和 “1” 是 精确 的 。 于 


是 , 矩阵 A = Aot E 的 误差 矩阵 E 可 以 有 三 种 情况 。 


情况 1 Mo, 可 变 
eee gjeo 


of -ee 


情况 3 a, 和 oz 均 可 变 


jo 01 fe 
E= le, enl 一 r] [ez1 e22] 


-az= f 


情况 2 Ma, TE 


观察 知 , 上 述 三 种 形式 的 任何 一 种 误差 矩阵 E 都 不 可 能 改变 原 矩 阵 ho 的 秩 。 然 而， 
前 面 几 节 的 三 种 奇异 值 分 解 都 不 能 够 得 到 并 解释 这 一 结果 。 这 说 明 , 需要 有 另外 的 奇异 
值 分 解 方法 来 分 析 这 类 问题 。 本 节 介绍 解决 这 类 问题 的 约束 奇异 值 分 解 方法 。 约 束 奇异 
值 分 解 略 写 为 RSVD (restricted SVD)， 它 是 由 Zha 49) 提出 , 并 由 Moor 与 Golub IH 
进一步 分 析 的 。 


6.6.1 SRA 


在 广义 奇异 值 中 ,我们 考虑 的 是 矩阵 束 (A,B) 的 奇异 值 。 正 如 情况 1 至 情况 3 所 
示 , 误差 矩阵 一 般 可 表示 为 三 个 矩阵 的 乘积 ， 邮 E = BDC 的 形式 。 如 果 要 考虑 复 矩 阵 
A= 4o+ 吾 的 秩 的 确定 , 很 自然 地 会 使 我 们 联想 到 应 该 考虑 矩阵 三 元 组 (A, B,C) 的 奇 
SHB. 令 AECC™”", BeCmr, De 0%, C e Crx", 则 有 以 下 定义 。 

定义 6.6.1 (ARAA) 和 矩阵 三 元 组 (A, B.C) 的 约束 奇异 值 定义 为 


04(A,B,C) = min,{lDlielank( A+ BDC) Sk—1}, k=12. nm (6.6.1) 
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关于 上 述 定义 , 应 注意 以 下 几 点 。 
注释 1 如果 对 丁 某 个 k(1 Sks n) 不 存在 满足 rank( 4 + BDC) < k—1 HIER 


D, 则 约束 奇异 值 o( 4, B,C) 定义 为 无 穷 大 。 
注释 2 wRm<nAlm<k<n, Wo,(A,B,C)=0. 
注释 3 ”从 定义 容易 看 出 , 约束 奇异 值 按 北 减 次 序 排列 ， 即 
o,(A, B,C) 2 opp (4, B,C) k=l,2,. ,nl 
作为 进一步 的 说 明 , 仍然 以 情况 1~ 情况 3 为 例 , 它们 的 约束 奇异 值 分 别 如 下 [9 。 
对 丁 情况 1 
aia] e-f esmo 
约束 奇异 值 为 
a(A,B,C)=0c0,  o{A, B,C) = [aal 
对 于 情况 2 
0 1 0 
apap ce 
约束 奇异 值 为 
0(A,B,C)=0, 0,(A,B,C)=0, #a,#0 
o(A,B,C)= 00, 0(A,B,C)=0, #a,=0 
对 于 情况 3 
_[o 1 _ fo fmo 
a-a ah i ebi 
约束 奇异 值 为 


a(A,B,C)=%, (A, B,C) = |a] 
EEEIEE ETA AR, CAT AS REA D ERR. TANAY 


和 矩阵 三 元 组 ,约束 奇异 值 需要 有 约束 奇异 值 分 解 方法 才能 求 出 ， 详 见 下 一 小 节 讨论 。 


RH 


有 趣 的 是 ,前面 几 节 介绍 的 奇异 值 和 广义 奇异 值 都 可 以 看 作 是 约束 奇异 值 的 特例 。 

(1) AER A 的 奇异 值 可 以 通过 令 B = In AC = 从 矩阵 三 元 组 (4, B,C) 的 约 
束 奇异 值 得 到 。 

(2) MERER (A,C) 的 广义 奇异 值 就 是 矩阵 三 元 纽 (A, 了, C) 的 约束 奇异 值 。 

更 严格 地 , 我 们 可 以 用 下 面 的 两 个 命题 来 叙述 以 上 结论 。 

命题 6.6.1 499 REER BAO MC ZO, W 


on AsTmsEn) op R=LB- aM (6.6:2) 


H, o, 是 矩阵 4 MARE. 
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命题 6.6.2 9°) 约束 奇异 值 和 广义 奇异 值 之 间 存 在 下 列 关 系 : 
至 ， 2 


iA Im C) = $ B: (6.6.3) 
i=k+l,k+2 e,n 


6.6.2 ”约束 育 异 值 分 解 


上 一 小 节 定 义 了 约 来 奇异 值 , 并 分 析 了 约 来 奇异 值 与 奇异 值 、 广 义 奇 异 值 之 间 的 关 
Re 现在 ,我 们 来 讨论 如 何 实现 约束 奇异 值 分 解 ， 以 得 到 约束 奇异 值 。 我们 假定 矩阵 B 
和 C 为 一 般 的 矩阵 。 实 现 约 束 奇 异 值 分 解 的 关键 是 下 面 的 重要 观察 。 

引 理 6.6.1 $ P e Cm j Qe CV BATRA. IFS U © CPX? 和 
V eci AMEE, R - 


o,(PAQ, PBU,VCQ) =0,(A, B,C) &1,2,-.,n (6.6.4) 


上 述 引 理 规定 了 对 和 矩阵 A,B,C 进行 的 线性 变换 的 类 型 , 它们 必须 能 够 保持 矩阵 三 
元 组 的 约束 奇异 值 不 改 安 。 因 此 , 约 来 奇异 值 分 解 的 关键 就 二 寻找 这 样 的 变换 。 

定理 6.6.1 ( 约 来 奇异 值 分 解 ) N $ A E Cmxnm 五 ECmxp， Cec, 则 存在 非 
奇异 矩阵 Pe Cmxm 和 Qe Ce” AREER U eCe 和 Ve CO? 使 得 


not t n-t, t 


[Ea m=i _ [Ze] m (ay 
PaQ=| op| 4 pau -|38 mey’ YCQ=[Eo, OF 


成 立 , 其 中 
fj ok Lra 
[五 j 
I, k 
互 4 = 五 l (6.6.5) 
Sa r 
of s2 
了 P-ju-r—s 7 8% 
[五 a) j 
_ o k+l 
E= B s, 2 (6.6.6) 
L Iai 5a 
j+k 了 r 8 
[oP q-t-r-3 
= 五 l 
Zo= So ` (6.6.7) 
Is s3 


AH, S4 = diag(a,), Se = diag(B,), So = diag(y,)» 并且 


E+B +L, i=s3+l,8 +2, 84r (6.6.8) 
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l>o, > ai >0, 0< 6 Shil, 1>4;,2 741 >0 (6.6.9) 


Bey? Annn’ pesthst2y-jetr—l (6.6.10) 
中 ，s 一 了 十 下 十 1 
证 明 参见 文献 [499]。 
类 似 于 广义 奇异 值 , 定义 


os 一 1 B=1, ~ = 0, 下 一 2 
a=l =P, Y=0 TH=FF1I+F2--F+k 
w= B=0 =l, i=j+k+l,j+k+2 -8 
Oi Ban RSSa Sa, Se PRI, i=stist+2,--,8t+r 
a, = 0, &=1, %=1, ti=st+rtist+r42,---,s+r+min{s;, s3} 
大 矩阵 三 元 组 (A,B,C) 的 非 平 凡 约 束 奇 异 值 。 

约束 奇异 值 分 解 使 得 可 以 对 矩阵 A 计算 一 个 低 秩 近 似 矩 阵 ， 方 法 是 从 矩阵 4 RE 
一 个 矩阵 , 被 减 去 的 矩阵 必须 服从 约束 条 件 : 它 的 列 位 于 B 的 列 空间 , 而 行 则 位 于 C 的 
行 空间 。 
有 必要 指出 ， WTR A, B 和 C 的 某 些 特殊 选择 , 约束 奇异 值 分 解 (RSVD) 将 简 
化 为 普通 闸 异 值 分 解 (OSVD)、 乘积 奇异 值 分 解 (PSVD) 和 广义 奇异 值 分 解 (GSVD)。 下 
面 的 定理 严格 地 叙述 了 这 些 结果 。 

定理 6.6.2 约束 奇异 值 分 解 的 特殊 情况 包括 上 

(1) 矩阵 三 元 组 (A, Im In) 的 RSVD RAM A 的 OSVD; 

(2) 和 矩阵 三 元 组 (I,,, B,C) 的 RSVD 就 是 (BF, C) 的 PSVD; 

(3) 和 矩阵 三 元 组 (A,B, I„) 的 RSVD 就 是 矩阵 束 (A, B) 的 GSVD; 

(4) 和 矩阵 三 元 组 (4, Im, C) 的 RSVD 就 是 矩阵 束 (A, C) 的 GSVD。 

TERY 下 面 分 别 证 明之 。 

Q)4 B=I,, CO =I, 并 考虑 矩阵 三 元 组 (A, B,C) 的 RSVD。 根据 定理 6.6.1 有 
I= P-'g,U" 和 = VSoQ 这 意味 着 , P= SU" 和 四 = YSc。 因 此， 可 以 求 


得 


A=V;(S3'S45¢))U™ 


这 从 好 就 是 敌阵 A 的 OSVD。 
(2) 令 4 = In ZE (Im B,C) 的 RSVD. TH, Ip = PSQ, RR 
着 @-1 = S11P。 因此 ,BY = VS P,O = rc(ScSil)PH， RER (B?,0) 的 


PSVD。 
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(3) $ C = In YZE (A, B,1,) MRM RSVD。 于 是 , In = UcScGQ-1， 从 而 
Q` = 85108. 内 此 , A= P (S495 )UE Ñ B= PS VE, 这 就 是 算 阵 束 (A, B) 
的 GSVD{ 相 差 一 个 对 角 线 比例 因子 )。 

(4) $ B = Im JA, 证 明 与 (3) 类 似 。 B 


6.7 ”结构 奇异 值 


作为 具有 结构 不 确定 性 的 反馈 系统 的 分 析 与 综合 的 一 种 工具 , Doyle 于 1982 年 提出 
了 结构 奇异 值 (structured singular value) 的 概念 上 23。 结构 奇异 值 在 Hw 控制 和 系统 特 
征 的 描述 中 有 着 重要 的 应 用 Ra3,4590。 本 节 介 绍 结构 奇异 值 的 几 种 定义 以 及 如 何 将 结构 
奇异 值 的 计算 转换 成 几 个 光滑 最 优化 问题 的 求解 。 


6.7.1 ”结构 奇异 值 的 定义 与 性 质 
对 于 一 个 正方 的 复 和 矩阵 M, H AM) 表示 其 谱 半 径 ， 用 o(M) 表示 其 最 大 的 奇 


Fe 
任何 一 个 由 正 整 数组 成 的 m 元 组 K = (kyky Eg) 称 作 尺度 为 m 的 分 块 结构 。 


给 定 一 个 尺度 为 m 的 分 块 结构 K, 定义 投影 抢 阵 为 
P, = diag(On,s-+ Ox, To, Ong Orn) 


SRT ARETE 
D = fdiag(d ,2mtk,,) | di € (0,00)} 


和 块 西 矩 阵 族 为 
U = {disg(U1,U2… ,Um) | Ui 是 hy x k; SEER} 


对 于 任意 正 标量 6 (有 可 能 是 oo), 我 们 记 抉 对 角 和 矩阵 族 
Xs = {diag(A1, åp y Am) | A; WERTE lA) <5 RI ki x k, SEP} 


所 有 以 上 矩阵 都 具有 维 数 n x n, 其 中 


定义 6.7.1 (结构 奇异 值 ) I 一 个 复 值 的 nx n 矩阵 M 相对 于 分 块 结构 的 结 
构 奇 异 值 是 具有 以 下 性 质 的 正 数 u: 


det(I + MA)#0, vAeXs 
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当 且 仅 当 
pe <1 

换言之 , MRE Xo AMAWE det(T 十 MA) = 0 的 A EH, W py(2M) =0; 否则 , 有 
uM) = Gap {5(4) | det(I + MA) =0} t 

应 当 注 意 , Pi, DU, X; 和 uM) 均 与 分 块 结构 有 关 。 不 过 , 在 大 多 数 情况 下 , 并 不 
明显 规定 这 种 分 块 结构 。 

关于 结构 奇异 值 ,容易 验证 以 上 事实 L341。 

事实 1 对 村 所 有 区 ez, 有 


(M) = (MU) = (UM) 


并 且 对 于 所 有 DeD, 有 


plM) = u{DMD™) 


事实 2 
HM)= max p MU) = max x p(UM) (6.7.1) 
事实 3 、 
HM) < inf o(DMD™*) (6.7.2) 
并 且 对 于 尺度 不 超过 3 RE, 有 
ARE) = 2h (DMD) (6.7.3) 
其 中 ， inf 代表 下 确 界 。 


事实 2 和 3 提供 了 比 定义 6.7.1 更 适合 于 计算 的 结构 奇异 值 定义 。 然而， 下面 的 定 


义 将 结构 奇异 值 同 光滑 (smooth) 最 优化 问题 建立 了 联系 , 是 一 种 更 容易 操作 的 定义 。 
定义 6.7.2 一 个 复 值 的 n xn SEE M 相对 于 分 块 结构 大 的 结构 奇异 值 定 义 为 


MM) = max {| Mæ] :Pie Me = [P.M], 1 = 1,2,.. ,m} (6.7.4) 
或 
MM) = max {|| Mal: P(e] < |P:Maæl, i = 1,2 m} (6.7.5) 


上 述 定义 是 由 Fan 与 Tits 9 以 定理 形式 证 明 的 结果 。 他 们 还 证 明了 , 如 果 极 大 化 
被 约束 在 单位 球 {z e Cn | jel < 1} 内 或 单位 球面 {x € C" | zl = 1} 上 , 定义 中 的 两 
个 等 式 仍然 成 立 。 

式 (6.7.4) 和 式 (6.7.5) 的 极 大 化 结果 显然 不 十 唯一 的 ,因为 如 果 w* 是 一 个 极 大 化 结 
果 的 话 ,那么 对 于 任何 幅 值 为 1 的 复数 8 而 言 , 则 or 也 是 一 个 极 大 化 结果 。 

与 结构 奇异 值 定义 式 (6.7.1) 和 式 (6.7.3) 相 比 , 式 (6.7.4) 和 式 (6.7.5) 中 的 日 标 函 数 
和 约束 条 件 更 方便 计算 ; 在 对 所 有 的 范 数 取 平 方 后 , 式 (6.7.4) 和 式 (6.7.5) 中 的 目标 前 数 
箱 约 束 条 件 古 光滑 的 。 
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6.7.2 ”结构 奇异 值 的 计算 

现在 考虑 结构 奇异 值 的 计算 方法 。 给 出 任 - -矩阵 M 和 分 块 结构 六， 下 面 的 算法 可 
以 构造 一 个 简化 秃 阵 M, CAA M 相 阿 的 秩 ， 及 相应 的 简化 分 块 结构 无 的 在 一 尺度 
都 不 会 大 于 M 的 秩 。 

算法 6.7.1 (简化 短 阵 的 构造 算法 L159 

输入 

Mec, K= (hy, Ray-Ban) 

SR 1 实现 矩阵 M MAH. S r= rank(M), 并 令 U, AV, BE ky xr 

FEE, 其 中 , i 二 1,2,… ,m。 义 令 


U, vV, 
” 和 Ya 
Un, Vn 
分 别 由 M 的 前 > SAR ARAM. T, TIL AEE 
E = diag(o,,09,---,0,); 有 
U Vil™ 
y. v. 
M= 和 5 2 
Un) Yin 


BR2 计算 WY = diag WY, wl, , WY) ALWY = diag( WY, WY, , WY), 
这 两 个 矩阵 都 在 块 下 矩阵 族 U A, HIT i=1,2, ,m, HE WYU; OR (ry) 
行 和 WY V, 的 最 后 -ry 行 均 为 零 , 其 中 , r 和 rY 分 别 是 Di AV, 的 秩 。 

HRS 对 于 i 二 1,2,… ,ms > k = max’ rl), HOO, AV, OH wl, 
和 WYV, 的 前 下 行 组 成 , 则 


H 


ü] [vs 

U. V. 
= 2 p 2 

Dn) [Wm 


和 = oe = 
K = (ki, ky, , Km) 


应 当 注 意 的 是 ， 和 矩阵 WU 和 W” 都 不 是 唯一 的 。 因 此 ， 只 能 够 把 M 视 为 对 应 
于 MM 的 一 个 简化 和 矩阵。 将 年 阵 M 简化 为 M 的 运算 可 以 看 做 是 对 M 进行 一 系列 矩阵 
变换 。 如 十 面 的 命题 所 述 ,， 结 向 奇异 值 在 这 些 变换 下 可 保持 不 变 。 
命题 6.7.1f50 由 算法 6.7.1 构造 的 简化 短 阵 机 RARA E 满足 关系 
MM) = (M) 


RP, p 表示 相对 于 分 块 结构 K ORE 
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作为 算法 6.7.1 的 一 个 特例 , 下 面 的 定理 给 出 了 秩 等 于 ! 的 矩阵 M 的 结构 奇异 值 的 
计算 方法 。 

定理 6.7.1 ( 秩 1 矩阵 的 结构 奇异 值 ) bs 假定 矩阵 M 具 有 秋 1, BN M = uv 对 
u,v € C”. $ 0,3 E R” 定义 为 

u= [1, 2; oe sEm] 

5 = (By, n Bal” 
其 中 , & = Piula = Pwll i= 1,2,---,m, M (M) = aTa. 

将 式 (6.7.5) 视 为 一 个 在 实 向 其 空间 Re 的 最 优化 问题 。 令 z= 区 z] ER”, WR 
(6.7.5) 中 关于 z 的 约束 条 件 可 以 写作 


gi(z) = PrNMel — |P:Mal? <0, i=1,2,---,m 


FEM 6.7.3 (正则 点 )050 ”对 村 任意 s < C", 车 与 之 对 应 的 xz © R” RE {Valh it = 
1,2,… ,m} 组 成 一 个 在 整个 实数 域 都 线性 无 关 的 向 量 集合 ， 则 称 该 = ER (6.7.4) 的 一 
企 正 则 点 。 
对 于 一 般 的 矩阵 ， 其 结构 奇异 值 与 最 优化 问题 之 间 存 在 下 列 关系 。 
定理 6.7.2050) “考虑 下 面 三 个 最 优化 问题 (定义 6.7.2, 事实 3， 事 实 2): 
(P1) #(M) = max {|| Mal] : (Pix Moll = IP Mol, i =1,2,---,m} 
(P2) inf, 5DMD !) 
(P3) max p(MU) 
并 假定 : @ w* 是 形 如 Oo" 的 优化 问题 (P1) 的 唯一 全 局 解 , 其 中 , 8 是 一 个 单位 幅 值 的 
复数 , 而 w* 是 (P1) 的 正则 点 ; OR (6.7.3) 成 立 ; © (P2) 中 的 下 确 界 “inf” 能 够 达到 。 
在 这 些 条件 上 下， 以 下 结果 成 立 ; 
(1) 假定 D* e D 是 问题 (P2) 的 解 , 则 存在 一 个 与 DMD 的 最 大 奇异 值 相 对 
应 的 右 奇异 向 量 (例如 y) 使 得 > = (Dy) y 是 问题 (P1) 的 解 。 

(2) 令 AT = DLA AIT 是 与 z* FERRIS (唯一 ) 乘 数 向 量 ， 则 块 对 角 和 矩阵 
D = diag I) 属于 D. 并 有 D 是 问题 (P2) 的 唯一 解 (除了 相差 一 个 标 址 
FEB) 。 a ， 

(3) 对 于 i 二 42,…,m, $ Q AA xm EE 它 由 P, MS kitl 到 》 右 的 所 
有 行 组 成 。 也 就 是 说 , Q; 是 P, 的 第 i 个 行 分 抉 。 U = iag(U,, U», ot Um) 
式 中 ,Ui(i = 1,2,… ,m) 是 ki x k; ER TAL U, = VW, 其中, V, 和 
W, 2S, 它们 的 第 1 列 分 别 为 Qie*/1Qiz*| 和 Q,Ma*/|Q,Mz"|, 
苦 Qiz* 40. JIN, U 是 问题 (P3) 的 解 。 

(4) 假定 U* ex 是 问题 (P3) 的 解 , Wt TAERE MO” 与 幅 值 等 于 谱 半径 的 特征 值 

相对 应 的 任 一 单位 范 数 的 特征 向 其 x*, 向 量 = = Uz 是 问题 (P1) 的 解 。 
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现在 假定 定理 6.7.2 中 的 假设 条 件 都 满足 , 并 假定 已 得 到 问题 (P1) 的 一 个 候补 解 2* 
或 问题 (P3) 的 一 个 候补 解 U*， 亿 是 不 能 够 肯定 MM) 是 否 已 获得 , 也 就 是 说 , 不 能 够 
BE ot RU 是 否 就 是 全 局 极 大 化 结果 。 下面 的 算法 提供 了 一 种 计算 结构 奇异 值 y(M4) 
的 合理 方法 。 

算法 6.7.2 (结构 奇异 值 计算 算 法 ) HO 

HRI MRM ABE 1, 则 按照 定理 6.7.1 求 uM) 算法 即 告 完成 。 苦 对 某 个 二 M 
的 秩 小 于 ki 就 利用 算法 6.7.1 计算 M 的 简化 矩阵 M, 并 再 次 用 RM 和 表 记 简化 后 的 
矩阵 和 分 块 结构 。 

步骤 2 求解 问题 (P1), 得 到 (可 能 是 局 部 的 ) 极 大 化 变量 a. 

步骤 3 按照 定理 6.7.2 中 的 (3， 由 全 计算 D MR Mèl =M), 则 取 
UM) = la, 算法 属 成 功 完成 1。 

HRA 求解 (P2) 问题 , 得 到 D*, 它 是 全 局 极 小 化 变量 ? 

HFRS 如 果 max(o(M), Mal!) = o(D"MD*"), WER p(M) = 3(D*M D), 
算法 成 功 完成 3。 否 则 ,jp(M) 的 搜寻 失败 。 

显然 ， 如果 定理 6.7.2 的 条 件 均 满足 ， 而 有 算法 6.7.2 成 功 完成 时 , 算法 将 给 出 正确 
的 结构 奇异 值 。 

前 面 斤 节 介绍 了 奇异 值 分 解 及 其 各 种 推广 。 最 后 再 叙述 - 种 奇异 值 分 解 . CE Takagi 
早 在 1925 年 提出 的 对 称 复 矩 阵 的 奇异 值 分 解 sg， 现在 习 锁 上 称 之 为 Takagi 奇异 值 
分 解 。 

定理 6.7.3 (Takagi 奇异 值 分 解 ) ARPS, 则 存在 一 个 酉 矩阵 和 
一 个 非 负 对 角 和 矩阵 D = diag(o1,02,… ,o,) 使 得 


A=UsU" 


其 中 , U ARIE AAT 的 特征 向 量 的 正 交集 ， 并 且 与 之 对 应 的 DARE 
AAY 的 对 应 特征 值 的 非 负 平方 根 。 


6.8 ”奇异 值 分 解 的 应 用 


前 面 斤 节 定义 了 奇异 值 分 解 以 及 各 种 推广 的 奇异 值 分 解 ， 并 分 析 了 它们 的 性 质 。 从 
这 一 节 开始 , 我 们 介绍 它们 的 一 些 重要 应 用 。 

奇异 值 分 解 己 / 泛 应 用 于 许多 工程 问题 的 解决 中 。 例 如, 仅 奇 异 值 分 解 与 信号 处 理 
的 国际 学 术 专题 讨论 会 的 论文 集 就 有 多 部 (例如 文献 [319], 文献 [183] 等 )。 本 节选 择 系 
统 辨识 和 信号 处 理 中 的 几 个 典型 例子 介绍 奇异 值 分 解 的 应 用 。 

1 如 果 D 内 的 任 一 对 角 郊 素 为 0, WA € Ke Jahn DOMD(e)—* tt DMD L 


2 这 里 , 0 和 ce 都 被 看 做 是 D* 内 元 素 的 可 : 
3 MR DD” 内 的 任何 苑 素 为 无 穷 大 , MA Ye 代替 。 还 需要 注意 , ER (6.7.3) 成 立 , 但 定理 6.7.2 中 的 其 他 
2)。 


条 件 之 一 不 满足 时 , 有 Mèl = 5(D*MD*- 
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6.8.1 静态 系统 的 奇异 值 分 解 


以 电子 器 件 为 例 ， 我 们 来 考虑 静态 系统 的 奇异 值 分 解 。 假 定 某 由 壮 器 什 的 电压 v 和 
电流 i 之 间 存 企 下 列 关系 ( 即 静态 系统 模型 为):; 


1 -100 
0 o11 
— 


F 


v 
v| _ 10 

il fol (6.8.1) 
iz 


IERE F 的 元 素 限 定 取 miyi 的 允许 值 。 
如 果 所 用 的 电压 和 电流 测量 装 演 具有 相同 的 精度 (比如 1%)， 那么 我 们 就 可 以 很 容 
易 检测 任何 一 组 测量 值 是 或 不 起 式 (6.8.1) 在 期 望 的 精度 范围 内 的 解 。 候 定 川 各 种 方法 得 
到 另外 一 个 矩阵 表达 式 : 
vy 
1 —1 10° 108 0 
[o 0 1 1 | 2 = [ol (6.8.2) 


ta 


ER. REMER AR, —A vvii 测量 值 才 会 以 合适 的 精度 满足 式 
(6.8.2); 而 对 于 电流 测量 有 1% 的 测量 误差 的 一 般 情况 , 式 (6.8.2) 与 静态 系统 模型 (6.8.1) 
是 大 相 径 庭 的 : A (6.8.1) 给 出 的 电压 关系 为 v 一 如 = 0, MEF i +i = 0.01 的 测量 误 
Æ, 式 (6.8.2) 给 出 的 电压 关系 则 是 v 一 v 十 104 = 0。 然而 ,从 代数 的 角度 看 , 式 (6.8.1) 
FIR (6.8.2) 是 完全 等 价 的。 因此, 我 们 希望 能 够 有 某 些 手 段 来 比较 几 种 代数 等 价 的 模型 
表示 ,以 确定 哪 一 个 是 我 们 所 希望 的 、 适 几 一 般 而 不 是 特殊 情况 的 通用 静态 系统 模型 。 解 
决 这 个 问题 的 基本 数学 工具 就 是 奇异 值 分 解 。 
更 一 般 地 , 我 们 考虑 n 个 电阻 的 静态 系统 方程 B: 


F H =0 (6.8.3) 
RP, FEA mxn HE ATERT, 我 们 将 一 些 不 变 的 补偿 项 撤去 了 。 这样 一 种 
表达 式 是 非常 道 冉 的， 它 可 以 来 自 某 些 物 理 装 置 (例如 线性 化 的 物理 方程 ) 和 网 络 方程 。 
矩阵 F 对 数据 的 精确 部 分 和 非 精确 部 分 的 作用 可 以 利用 奇异 值 分 解 来 进行 分 析 。 令 F 
的 奇异 值 分 解 为 


F=UTEV (6.8.4) 


于 是 , 精确 部 分 和 非 精确 部 分 的 各 个 分 量 被 矩阵 F 的 奇异 值 01,02,… ,0;,0,… ,0 ER 
同 的 大 小 改变 。 如 果 式 (6.8.3) 是 物理 装置 设计 的 准确 规格 , 那么 矩阵 F 的 奇异 值 分 解 将 
提供 一 个 代数 等 价 , 但 在 数值 上 却 最 可 靠 的 设计 方程 。 注意 到 OO 是 一 正 交 矩阵， 所 以 由 
式 (6.8.3) 和 式 (6.8.4) 有 

sv H =0 (6.8.5) 
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ARANA D 分 块 为 


FAG TM V 作 相 应 的 分 块 ， 册 
AB 
V= l | 


其 中 , [4, B] Æ V 最 上 面 的 > fT, Wat (6.8.5) 可 以 写作 
X, Ol[f4 B 
[2 olle alli]-° 
从 而 , 我 们 可 以 得 到 与 式 (6.8.3) 在 代数 上 等 价 , 但 在 数值 上 却 最 可 靠 的 表达 式 : 
(A, B] 日 =0 (6.8.6) 


SOR (6.8.3) EB ARAL, 则 对 角 矩 阵 的 对 角 线 上 就 不 会 出 现 零 奇异 
值 。 这 时 ， 我 们 就 不 能 够 直接 使 用 式 (6.8.6)- 在 这 种 情况 上 ， 我 们 需要 对 模型 进行 修正 ， 
方法 是 令 所 有 奇异 值 osoo STE, HH, s 是 满足 csyci 小 于 矩阵 FARR 
允许 的 精确 度 (部 物理 装 管 的 测量 精确 度 ) 的 最 小 整数 。 于 是 ， 式 (6.8.6) 中 的 [4, B) 修 
EA V 的 最 上 面 .s ~ 1 行 。 有 关 结 果 表 明 , 这 样 一 种 修正 可 以 使 参数 的 变化 限制 在 预先 
设 定 的 误差 范围 内 fag 。 

现在 考虑 一 个 电阻 性 的 多 端 对 (电阻 、 电导、 洪 合 参数 、 传 导 和 散射 等 ) 的 不 同 表 达 
式 , 日 的 是 寻找 一 个 尽 可 能 最 优 的 表达 式 。 例如， 使 用 端 对 坐标 * M yat, 电阻 性 多 端 
对 的 显 式 表示 则 为 P 


y= ås, H =ü [i] (6.8.7) 


通过 选择 合适 的 坐标 变换 N, MATS, HS, RRA Se SRI 
TE, HERE A 的 条 件数 就 代表 从 x 到 y ATTRACT AAA EDR. 如果 4 可逆， 则 该 
条 件数 也 是 从 y 到 w 的 信 品 比 放大 倍数 的 上 限 。 因 此 ,不同 的 表达 式 就 可 以 根据 它们 
的 条 件数 进行 排队 。 这 就 使 得 所 有 参数 化 表达 式 一 日 了 然 。 显 然 ， 最 优 的 情况 二 条 件数 
cond(A) = 13% 4 是 一 正 交 撼 阵 (包含 -比例 因子 )。 一 个 白 然 会 癌 的 问题 是 , 任何 一 个 
多 端 对 的 电阻 器 是 招 有 一 个 最 优 的 表达 式 ? 也 就 是 说 ,是 否 存在 使 得 cond(4) = 1 的 正 
交 矩 阵 A? 为 此 ,让 我 们 来 看 一 个 n 维 ” 端 对 的 电阻 器 的 隐 含 表达 式 : 


F 日 =0,  rank(F)=n (6.8.8) 


应 用 F 的 奇异 值 分 解 式 (6.8.4》， 即 可 得 到 式 (6.8.6), 其 中 , r= n。 选择 正 交 坐标 变换 


四 -a INA k 引 I (6.8.9) 


n 
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这 样 一 来 , 就 可 以 利用 2 的 正 交 性 N = QT, 将 隐 含 表达 式 (6.8.6) 表示 成 
[4, B] i] =A, B) (a: e3] [v2 -I/V3 站 


DT) Lv5 I/32] |e 
= IT/Vi -Lv3 = 
-moja male] 
即 有 
[1/V3, -1/2 H =0 > 下 一 人 (6.8.10) 


于 是 , 可 以 得 出 结论 : 利用 式 (6.8.4) 的 奇异 值 分 解 可 以 得 到 式 (6.8.9) 的 正 交 变换 , TA 
过 此 正 交 变换 ， 即 可 得 到 一 个 在 数值 上 最 优 的 显 式 关系 y = z。 


6.8.2 ”系统 辨识 


考虑 时 不 变 、 线 性 离散 时 间 的 多 变量 系统 , 它 具 有 状态 空间 表示 : 
a(k +1) = Aa(k) + Bu(k) 
u(k) = Ox(k) + pu} 


(6.8.11) 


AH, u(k) ylk) 和 z(k) 分 别 表示 在 时 间 的 输入 向 量 , ARS, HAE 
zik) 的 维 数 是 最 小 的 系统 阶 数 n A, B,C 和 D 是 待 辨 识 的 未 知 系统 和 矩阵。 系统 辨识 问 
题 的 提 法 是 ， 只 利用 观测 到 的 输入 /输出 数据 atte 和 apt > 辨识 系统 矩阵 
A,B,C 和 D。 

Moonen 等 人 业已 证 明 R199， 状态 向 量 序 列 可 以 仅 根 据 输 入 /输出 观测 值 计 算 如 下 ;: 
令 HH MH, 定义 为 


Uk Une O Uke ga 
Ue Dear U Ugg 
Ugtl Upp U Uktj 
Hi= | Yri Vet2 U Vrti (6.8.12) 
Unei—1 Uepi O Ue +e? 
LYkti—i Vere °° Yet gpera. 
[ Mees kt 7 Ukyj- 
Vrti Yitl O Uap yo 
Uktipi Ukpit2 `U Uppity 
H, = |Yetitl Verto O Uesits (6.8.13) 
Uppai-1 Urtzi Up i j-2 
LYk+zi-t Yet2i > Ykt2itj-2 


JOH, j > 2(m + Di 并 定义 状态 向 量 序列 


© = [Ekti Thtitl **  Tesit jal 
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则 在 一 定 条 件 下 , 有 
Spanrow(2) = Spanrow H1) N Spanrow (Hy) 


因此 , 此 交集 的 任何 基 都 组 成 一 个 合适 的 状态 向 量 序列 w, 它 具有 与 相 邻 行 向 量 相同 的 


基 向 量 。 
Fe = [enote tpa] 已 知 ， 则 系统 矩阵 可 以 通过 求解 ( 超 定 的 ) 线 
性 方程 组 


Tki U arial [8 A [in wt Beye 
D 


Ykti U Yktitj-2. Ups ij 


HR. 
上 述 结果 构 碾 了 两 步 辩 识 方 法 的 核心 。 
第 一 步 , 由 H, 和 太 。 张 成 的 行 空间 的 交集 可 以 道 过 级 联 第 竹 H = Fa 的 奇异 信 


分 解 求 出 ， 即 


H=UgPHVi= 区 | 多 3] VE 


Un Un] |O O 

其 中 

dim(U 1) = (mi + li) x (Qmi +n) 

dim(U jg) = (mi + li) x (2li—n) 

dim(U z1) = (mi + li) x (2mi +n) 

dim(U 2) = (mi + li) x (QH —n) 

dim(2,,) = (2mi +n) x (2mi+n) 
根据 


URH, = -URH 


可 以 得 出 结论 : URE, 等 于 所 需要 的 交集 。 然 而 ,UH 包含 有 Wi-n 个 行 向 其， 其 
H, 只 有 个 (交集 的 维 数 ) 是 线性 无 关 的 。 因 此 , 需要 选择 这 些 行 向 量 的 适当 组 合 。 
BIB, 由 于 Oy, 和 Un 构成 一 个 正 交 矩阵 ,所 以 它们 可 以 奇异 值 分 解 为 64 


j (ti—n) x (lin) 


|v 
Ow-n) x(n) | 


cae 
| Fain) x (i~n), 


axn 


Un = (UP, Uf, UE 
Quien) x (tin) 


Un = Uh}, UY, UY) | 


其 中 


C = diag(cy,--+ ,cn) 
S = diog(s,,--- ,sn) 
Daun =O? +S? 
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Td. U 构成 H, 的 (in) HEH. 显然 ,只 有 UD 组 成 交集 计算 的 有 用 组 合 ， 
因而 可 以 取 


a= (UH, 
LRWPTEL-PRETH AOE, MARERA A 和 
Us 两 个 矩阵 的 奇异 值 分 解 。 


6.8.3 ” 阶 数 确定 
考虑 线性 移 不 变 的 平稳 随机 自 同 归 - 滑动 平均 (ARMA) 过 程 {z(n)}: 
p 4 
a(n) +) afiafi) =J ben- j) eln) ~ IDO, 0) (6.8.14) 
i=] j=0 


RP, e(n) ~ ID(0, 02) 表示 {eln)} 是 独立 同 分 布 的 随机 过 程 ， 其 均值 为 0, WET 
02。 & R(T) = E{zr(n)z*(n + 7)} 起 z(n) HAAR RM. 我 们 的 日 的 是 只 根据 观测 数据 
确定 ARMA 模型 的 自 回 归 (AR) 阶 次 p 和 滑动 平均 (MA) BRK go 
确定 ARMA 模型 阶 次 的 方法 已 提出 不 少 。 归纳 起 来 , 可 以 分 为 两 人 类 : 信息 二 准则 
信息 量 准则 法 有 著名 的 AIC 准则 , 最 终 预测 误差 (FPE) 准则 , 最 小 描述 长 度 (MDL) 
准则 ， 准 则 白 回归 传递 (CAT) 准则 和 BIC (AIC 的 改进 ) 准则 等 ， 有关 这 些 准则 的 详细 
综合 介绍 可 在 文献 [524, pp.90~91] HHA. 
典型 的 线性 代数 定 阶 法 有 行列 式 检验 算法 P91, Gram Schmidt 正 交 法 ["9 和 奇异 值 
分 解法 [70],{506], [507] , 
(1) 行列 式 检验 法 检验 不 同 维 数 的 行列 式 的 值 ， 以 行列 式 等 于 零 时 的 最 小 维 数 作为 
阶 数 的 估计 。 
(2) Gram-Schmidt 正 交 法 则 检验 与 ARMA 模型 服从 的 法 方程 对 应 的 矩阵 的 列 之 间 
的 线性 无 关 性 ,以 线性 无 关 的 列 数 作为 阶 数 的 估计 。 
(3) 奇异 值 分 解法 确定 与 ARMA 模型 服从 的 法 方程 对 应 的 矩阵 的 有 效 秩 , 并 用 它 作 
阶 数 的 估计 。 
从 数值 稳定 性 看 ,前 两 种 方法 都 明显 比 奇异 值 分解 方 法 差 。 
对 于 式 (6.8.14) 的 ARMA 模型 , 下 列 著名 的 修正 Yule-Walker (MYW) 方程 成 立 ( 参 
见 文献 [524]); 


YRC -2)=0, i>g (6.8.15) 
i=l 
利用 MYW 方程 ，Cadzow 证 明了 以 下 结果 中。 
命题 6.8.1 记 tx (p, + 1) HERE 
R(ge +1) RG.) ~ Re — Pe +1) 


_ Rae + 2) Ria. + oo RG -Pe +2) (6.8.16) 


e 


Ritt) Rag tt—1) = Rl- pett) 
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中 ， Or FF pe P Ple >p Hae -pe >q- p My rank(R,) = 
结果 给 出 了 一 种 确定 ARMA ae (6.8.14) 的 AR wt p 的 方法 。 理论 白 相 


RMB R) 用 其 样本 估计 值 Rir) = W z5 z(n)z(n +7) 代 普 后 , EEA HHK RR, 


的 有 效 秩 即 给 出 AR 阶 数 p 的 估计 , 而 È. 的 有 效 秩 可 以 利用 R. 的 奇异 值 分 解 来 确定 。 
顺便 指出 ,选择 满足 pe > pg. 之 9 FI qe — pe 29 p 的 扩展 阶 pe 和 9@ 并 不 困难 ， 因 为 
不 失 一 般 性 , 通常 可 以 假定 q < p, 此 时 可 以 直接 选择 pe = qe > po 

在 确定 出 AR 阶 数 pg 后 , MA 阶 数 4 也 可 以 利用 SVD Misg. AIH SVD 确定 ARMA 
模型 式 (6.8.14) 的 MA 阶 数 有 两 种 方法 ,由 Zhang X. D. 4) Zhang Y. S. 598.1507) 提出 。 
两 种 方法 的 主要 区 别 在 于 第 一 种 方法 上 只 需要 使 用 AR 阶 次 p, 而 无 需 使 用 ARMA 模型 的 
任何 其 他 参数 ; 第 二 种 方法 则 要 用 到 AR NK p 和 AR 参数 ali) i= 1,2,… ,Pp 

下 面 介绍 这 两 种 方法 。 

1. 搜索 法 

这 一 方法 509 利用 了 这 样 一 个 事实 : MA 阶 数 4 AO BREED AREE 
内 ， 该 矩阵 可 以 看 作 是 召 。 的 增 广 矩阵 。 更 严格 地 , 这 一 事实 可 叙述 为 上 面 的 命题 。 

命题 6.8.2 50) 令 R 是 一 个 由 下 式 定义 的 (+1) x (+1) HERE: 


RO  Ru-D c Ra- 
= B+ ) PO e apt 1) (68.17) 
R@tp) Ratp-) = RW) 


# ap £0, W rank(Ry) =p+1. 
上 述 结 果 应 用 起 来 是 不 方便 的 ， 因 为 它 要 用 到 待 确定 的 MA 阶 次 9。 幸运 的 是 , 我 
们 很 容易 把 它 推广 到 具有 扩展 阶 q >q 的 矩阵 去 。 
命题 6.8.3 5 假定 p 已 经 确定 出 , Ho, >a 并 令 Re 是 一 个 (十 1) x (+1) 
SESE RE, H 


Rige) Ra =1) 人 alte oP 
Re = Rae + 1) (a) RG 7 p+) (68:18) 
Rg +p) Ra+p-1) ++ Ra 


则 当 ge >q 时 ，rank(Rie) =p» 而 县 仪 当 gs。 = 9 时 才 有 rank( Ric) = p+ 1。 

显然 , 真实 的 MA 阶 数 BSE Re 内 。 理 论 上 , 阶 数 g 可 以 这 样 来 确定 : 从 某 
个 阶 数 Q = g。> 4 开始 ， 用 SVD 检验 Re 的 秩 ， 然 后 依次 减 小 一 阶 (9 二 Q-1 
进行 新 的 检验 。 秩 从 p 变 为 p+ 1 的 第 一 个 转折 点 发 生 在 Q = ¢ 处 。 然 而 ， 在 实际 应 
用 中 ， 由 于 只 能 使 用 样本 白 相 关 估计 值 ， 所 以 阶 数 从 p 变 为 p + 1 的 转折 点 往往 不 是 
很 明显 。 为 了 发 展 一 种 MA 定 阶 的 实际 算法 ， 可 以 使 用 “ 超 定 的 ”矩阵 Re, HK 
Rali jl = (qe +i jhi = 1,2,.… ,tj 二 1,2,… Pet MED Pe) 这 意味 着 使 用 更 多 的 
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FER GRAM. 容易 验 证 : 


rank(Rze) = rank( Rie) 


因为 Re. 包含 了 整个 Reo 另 根据 修正 Yule-Walker 方程 (6.8.15), 任意 第 k> p+ 2) 行 
(或 列 ) 与 其 上 面 p 行 (成 左边 p 列 ) 线性 相关 。 

FHE MA 定 阶 的 搜索 方法 。 

步骤 1 H SVD 确定 AR 阶 次 p, 并 取 = ge > qe 

FR? Q-Q-1, 并 利用 料 本 白 相 关上 明 数 构造 样本 白 相关 和 矩阵 Roe 计算 其 SVD. 

FRI ”如果 第 +1) 个 奇异 值 与 上 次 计算 结果 相 比 ， 有 一 个 明显 的 转折 , 则 选取 
=Q; 否则 返回 步骤 2, 并 重复 以 上 步 坚 , 直到 HAE. 

定 阶 算法 的 关键 起 在 步骤 3 中 选择 第 (p + 1) 个 奇异 值 的 转折 点 。 作 为 转折 检验 法 
旭 , 可 以 采用 检验 该 奇异 值 前 后 的 相对 变化 率 


RBA TRU REKREA. 4 a KTR, MEZE Q 值 为 转折 点 。 
2. 拟 合 残 差 法 


这 种 MA 定 阶 方法 需要 使 用 AR 阶 次 p 和 AR 参数 alihi 一 1,2,.… ,p (HX ARS 
数 估 计 的 SVD-TLS 方法 , 将 在 下 -- 章 介绍 )。 杨 造 拟 合 残 差 


P 


f(t) =} GRC ~ 4) (6.8.19) 
i=0 
根据 MYW 方程 易 知 
#0, T=0,1,...,9 
io 人 全 了 一 9 二 19 十 2 (6820) 


原理 上 , MA 阶 次 4 是 满足 f(r) = 0 的 最 小 整数 7。 然 而, 在 实际 应 用 中 ,由 于 根据 AR 
参数 估计 值 和 样本 白 相关 函数 计算 的 f(z) 值 存在 比较 天 的 误差 , 所 以 直接 根据 f(r) = 0 
确定 ¢ 是 一 种 数值 鲁 棒 性 差 的 定 阶 方法 。 文 献 [507] 提出 利用 拟 合 残 差 构造 一 特殊 矩阵 ， 
该 矩 降 的 秩 直 接 给 出 qe 因此 无 需 计 算 多 个 自 相 关 矩 阵 的 SVD. 
方法 是 简单 的 。 容易 看 出 三 角 短 隆 
Fl) fa- = KO 
of $0) sa 


a 


0 0 F@) 


是 满 秩 的 ， 其 秩 等 于 q + 1， 因 为 对 角 线 元 素 fla) 0。 与 搜索 法 类 似 , 也 可 以 构造 一 个 
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Ge +1) x (Ge +1) 扩展 阶 和 矩阵 
Fa.) flge—l) = f0) 
tee 1 
Ka) it ) (6.8.22) 
0 0 FQ) 
它 的 元 素 不 再 含有 未 知 的 g, 但 年 阵 的 秩 却 仍然 等 于 g++ 1。 
利用 式 (6.8.20) 容易 证 明 ，rank( 瓦 ,-) = rank(Ry) =¢+ 1. Pik, 利用 SVD 确定 出 
相应 的 样本 残 莽 矩阵 Re 的 有 效 秩 后 ， 凤 可 自 接 得 到 MA 阶 次 qo ARNE MEE 
Re 的 秩 显 然 等 价 革 检验 对 角 线 元 素 乘 积 (PODE) ABET SE, BM 


T+ #0, 7T=g 
f oko T=q+1l,g +2, 


具体 说 来 , PODE WERE H (r) = 0 的 最 小 整数 作为 MA 阶 次 g 的 估计 。.PODE 
试验 明显 地 比 直接 检验 式 (6.8.20) 具有 更 好 的 数值 背 棒 性 。SVD 方法 和 PODE 实验 还 可 
综合 起 来 使用， 这样 可 以 进一步 提高 MA 阶 数 确定 的 数值 鲁 棒 性 ， 详 见 文献 [507]。 

顺便 指出 , 上述 使 用 自 相关 函数 确定 AR 和 MA 阶 次 的 方法 仅 适用 于 因果 最 小 相位 
的 ARMA 过 程 。 对 于 非 最 小 相位 系统 , 应 该 使 用 高 阶 累积 量 定 阶 和 参数 估计 。 基 于 高 阶 
累积 量 确定 AR 和 MA 阶 数 的 SVD 方法 分 别 由 文献 Q71] 和 [507] 提出 。 对 这 两 种 方 
法 感 兴趣 的 读者 也 可 参考 文献 [521]。 文 献 [507] 和 [521] 还 介绍 了 使 用 SVD 定 阶 方法 进 
行 高 斯 和 非 商 斯 过 程 识别 ， 以 及 在 SVD 定 阶 方法 在 AR, MA 和 ARMA 模型 辨别 中 的 


6.8.4 ”系统 的 可 控 性 


考查 线性 系统 
&(t) = Az(#) + bult), 2(0) = zo 

其 中 , A e R”, be R”, æo € R" 我 们 的 问题 是 求 控制 函数 u(t), W z(T) = zr (其 
中 , ær E R) 是 某 个 希望 的 “状态 ”， 即 我 们 希望 系统 在 T > 0 时 处 于 某 种 状态 。 显然 ， 
这 有 可 能 是 不 能 实现 的 。 例如 , 若 b= 0, 则 将 无 法 像 希 望 的 那样 对 o 向 基 加 以 控制 。 更 
一 般 地 ,如果 上 述 问 题 有 解 ， 则 5 在 可 以 用 A 的 特征 系统 定义 的 方向 上 不 得 古 秩 气 缺 
的 。 有 多 种 方法 可 以 描述 个 系统 5 的 “可 控 性 ”, 例如 

(1) 系统 S ETR SAR W, = [b，Ab，A4?5, .… ，A" 18] 非 奇异 。 

(2) 系统 8 是 可 控 的 ， 当 且 仅 当 Ws = fy Ate eA ae 非 奇异 。 

它们 是 “0-1” 上 或“ 是非” 描述 方法 。 直 觉 告诉 我 们 ， 如 果 W, uk 到 接近 奇异 ， 那 
AS 必然 “难于 ”控制 。 这 种 情况 很 容易 用 奇异 值 进行 分 析 。 可 以 用 W, 或 Ws 的 最 
小 奇异 值 作为 系统 S 非 可 控 的 测度 。 在 角 棒 系统 的 设计 中 , 度量 系统 非 可 控 的 测度 起 着 
重要 的 作用 。 关 于 数值 线性 代数 在 控制 理论 中 的 作用 的 精彩 解说 可 在 文献 350|，[516] 中 
找到 。 
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6.8.5 图像 压 缩 


奇异 值 分 解 在 图 像 处 理 中 有 着 重要 应 用 。 假定 一 幅 图 像 有 nxn 个 像素 ， 如果 将 这 
nm? 个 数据 一 起 传送 ,往往 会 显得 数据 基 太 大 。 因 此 ,我 们 希望 能 够 改 为 传送 另外 一 些 比 
较 少 的 数据 , 并 且 在 接收 端 还 能 够 利用 这 些 传送 的 数据 重 构 原 图 像 。 
不 妨 用 nx n 矩阵 A 表示 要 传送 的 原 nxn 个 像素 。 假 定 对 矩阵 A 进行 奇异 值 分 
解 , 便 得 到 4 = U2V7， 其 中 ,奇异 值 按 照 从 人 到 小 的 顺序 排列 。 如 果 从 中 选择 尺 个 
大 奇异 值 以 及 与 这 些 奇异 值 对 应 的 左 和 奇异 向 量 允 近 原 图 像 , 便 可 以 共 使 用 K2n 1) 
个 数值 代替 原来 的 n x n 个 图 像 数 据 。 这 k(2n + 1) 个 被 选择 的 新 数据 是 矩阵 A 的 前 天 
PRE. nxn ARAM U 的 前 列 和 n xn AAR ARER V 的 前 天 列 的 
元 素 。 
比率 
"= aTi (6.8.23) 
称 为 图 像 的 压缩 比 。 显然 ， 被 选择 的 大 奇异 值 的 个 数 下 应 该 满足 条 件 k(2n 十 1) < n? 
B k< zgo PAs, BUTE AR LARP, MEHER n x n 个 原始 数据 , 而 只 
需要 传送 a + 1) 个 有 关 奇 异 值 和 奇异 向 量 的 数据 即 可 。 在 接收 端 ， 在 接收 到 奇异 值 
OnO 0, 以 及 左 奇 异 向 量 ujta ,Ww 种 右 奇异 向 量 v1,v2,… ,V 后, 即 可 通过 
截 尾 的 奇异 值 分 解 公式 . 
A= out (6.8.24) 
izi 


重 构 出 原 图 像 。 

一 个 容易 理解 的 事实 是 : £ kih BERE p 仿 大 ， 则 重 构 的 图 像 的 质量 有 可 
能 不 能 令 人 满意 。 反之, 过 大 的 大 值 义 会 导致 压缩 比 过 小 , 降低 图 像 压缩 和 传送 的 效 
因此 ， 需 要 根据 不 同 种 类 的 图 像 ,选择 合适 的 压缩 比 ， 以 兼顾 图 像 传送 效率 和 重 构 质 最 。 


6.9 ”广义 奇异 值 分 解 的 应 用 


仍然 考虑 式 (6.8.11) 的 系统 的 辨识 。 但 是 , 不 同 的 是 , 这 里 的 输入 /输出 被 有 色 虹 声 
所 污染 。 RERE 
ala 
H, 
的 列 存在 零 均 值 的 独立 同 分 布 误差 , 它们 之 间 的 误差 协 方差 矩阵 为 4 {包含 一 个 比例 因 
F) 其 中 


A=R,Re 
是 和 矩阵 A 的 Cholesky 分 解 , 分 解 因 子 Ra 是 下 三 角 矩阵 ， 常 称 为 矩阵 A 的 平方 根 。 
容易 验证 , 变换 后 的 矩阵 RIH MIRADI ET EE (包含 一 比例 
因子 )。 因 此 , 系统 辨识 的 方法 之 一 就 是 用 RIH 的 奇异 值 分 解 代替 H 的 奇异 值 分 解 求 
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出 矩阵 A, B, C 和 D. 然而 , AR, BARAS U RI 将 不 能 够 直接 计算 。 回顾 广 
SU FHA, SER (H, Ra) 的 广义 奇异 值 分 解 取代 Ra A 的 普通 奇异 值 
分 解 。 THE, 很 容易 将 6.8.2 小 节 的 双重 奇异 值 分 解 系 统 辨 识 方法 推广 成 一 种 双重 广义 奇 
异 值 分 解 的 系统 辨识 方法 MA, 

QER (H, RA) 的 广义 奇异 值 分 解 为 


XTHU = 8p 
XTRAV = Dp, 


式 中 


Ey = diag(onyao ;21it2mi) 
En, = diag(B,,B2,°-> ,Borit2m) 
HO, Mat ame 
B B Parrt2mi 
现在 的 情况 与 6.8.2 小 节 的 情况 非常 美 似 。 在 6.8.2 W, H, RI Ha 的 行 空间 的 交集 是 利 
REUE H = (fe 的 最 小 有 向 信号 能 量 (@ 区 e], HULH, = -UBH,) 计算 
的 。 因 此 ,在 现 在 的 情况 下 , 可 以 利用 [e] (商定 义 在 后 面 给 出 ) 计算 政 和 Ha 的 行 
空间 的 交集 。 
先 考虑 无 噪声 的 情况 (误差 的 协 方差 与 A 成 正比 , 但 比例 因子 为 零 )， 然 后 再 说 明 扒 
导 的 结果 对 于 非 堆 的 误差 分 布 仍然 成 立 。 
如 果 数 据 是 无 吕 声 的 ， 则 根据 上 述 广义 奇异 值 分 解 知 


[E] yry pre [Xu Xe] [£u Ol yr 
m, = [i] -x XUT = [xs že) PS ele 


式 中 ,各 个 分 块 矩阵 的 维 数 分 别 为 


dim(X11) = (mi + li) x (2mi +n) 
dim(X12) = (mi + li) x (2li — n) 
dim(X21) = (mi + li) x (2mi + n) 
dim(Xy9) = (mi + li) x (24i — n) 
dim(B11) = (2mi +n) x (2mi +n) 
由 
XRH, =-XpH, 


可 知 , XT, 的 行 室 间 等 于 欲求 的 交集 。 由 于 XRH, 包含 21i 一 n 个 行 向 量 , 而 其 中 只 
A n A (交集 的 维 数 ) 行 向 量 线性 无 关 ， 所 以 我 们 需要 从 24i 一 nn 个 行 向 量 中 选 出 n TE 
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适 的 向 最 来 。 利 用 广义 奇异 值 分 解 ， 容 易 证 明 ， 


1 
Clin)x (in) 
1 2 
Xin = (XB, XP, X19) | nxn Q" 
O(n) x(4—n) 


Fain) x(ti-n) 


C = diag(c1, ca ,Cn) 


O ti-nyx{ti-n) 


Xn- x9, x9, xf) | 


H, Q HEZE, fH 


S = diag(s1, sz- ,sn) 
Inxn =C +8? 
显然 只 有 XP 提供 计算 交集 的 有 用 向 量 组 合 ， 故 可 以 到 
一 一 多 于 
现在 ， 系 统 拖 阵 可 以 通过 下 述 简化 的 矩阵 方程 (忽略 共同 的 正 交 因子 U) 计算 : 
[ $b41:@ +140, 1: 2mit "ed 


X-Tmithitmt1:(n+HG41),1: 2mitnFy, 
_ [a 引 | (XBT: mi + li, 1: 2mi +n) Da | 
cD XT i+ t+ imitlitm,1: mit nD, 
RP, X T(r: s,v : w) 代表 XO? AEE, 它 具有 XT 的 第 nrl, o,s 行 和 第 
votl, jw Fe 
如 果 在 五 ; 和 五 。 AUER TRE, MAR 义 奇 异 值 都 是 非 堆 
的 。 此 时 , 需要 将 最 小 的 )” 义 奇异 值 置 零 。 应 该 指出 的 是 , 当 五 的 列 数 趋 丁 无穷 , H H 
的 各 列 是 具有 零 均 值 和 相同 的 误差 协 方差 矩阵 A (包含 一 比例 因子 ) 的 独立 同 分 布 误差 
时 , 广义 奇异 值 分 解 中 的 抢 阵 XX 可 以 一 致 计算 。 由 于 系统 矩阵 只 根据 X 计算, 所 以 系 
统 模型 的 估计 是 一 致 的 。 
信和 号 处 理 中 著名 的 MUSIC (多 重信 号 分 类 ) 方法 等 价 为 广义 奇异 值 分 解 问题 。 另 一 
著名 的 ESPRIT (借助 旋转 不 变 技术 估计 信号 参数 ) 方法 是 广义 特征 值 分 解 的 巧妙 应 用 。 
我 们 将 在 第 8 章 详细 介绍 这 两 种 应 用 。 


本 章 小 结 


本 章 对 炬 阵 的 奇异 值 分 析 展 开 了 专题 讨论 。 首先 分 析 了 单个 矩阵 的 (普通 ) 奇异 值 分 
解 (OSVD)、 奇 异 值 的 性 质 以 及 奇异 值 分 解 的 数值 计算 。 然后 ， 以 两 个 或 者 多 个 矩阵 为 对 
象 , 介绍 了 各 种 推广 的 奇异 值 分 解 : 


习 题 402 


(1) EMER ATB HAREA, TERR A MED (PSVD); 

(2) FESR EAL RYE ME RY (A,B) YX EAE (GSVD); 

(3) EEEH (A,B,C) HARA FAM (RSVD). 

(4) 矩阵 相对 于 某 种 分 块 结构 的 结构 奇异 值 。 ， 
普通 琳 异 值 分 解 、 乘 积 奇异 值 分 解 和 广义 奇异 值 分 解 都 是 约束 亲 异 值 分 解 的 特例 。 

本 章 最 后 两 节 分 别 介绍 阿 异 信 分 解 在 静态 系统 建 模 、 系统 辨识 、 阶 数 确定 、 系 统 
的 可 控 性 、 图 像 压缩 中 的 应 用 ， 以 及 广义 背 异 值 分 解 在 系统 辨识 中 的 应 用 。 


6.1 CANER 


通过 计算 AA? 和 ATA 的 特征 位 利 特征 向 量 , RHEE A 的 奇异 值 分 解 。 


6.2 计算 矩阵 
1 -i 
A= 3 -3 
-3 3 
的 奇异 值 分 解 。 
6.3 ”计算 算 阵 
345 
a= l 217 | 
的 奇异 值 分 解 。 
64 已 知 矩 阵 
一 149 -50 —154 
A= | 537 180 i | 
一 27 9 -25 
求 4 的 奇异 值 以 及 与 最 小 奇异 值 o 相对 应 的 左 、 右 奇异 向 量 。 
6.5 $ A=apt+yqh, >x Lyf piq. RERE A 的 Frobenius 范 数 |4jr。 


(提示 : 计算 AMA, HRA 的 奇异 值 。) 

66 EM A= UEV" 是 矩阵 A 的 奇异 值 分 解 , 矩阵 AT 的 奇异 值 与 4 的 奇异 值 
有 何 关 系 ? 

6.7 证 明 : # A 为 正方 矩阵 , W | det(A)| 等 于 A 的 奇异 值 之 积 。 

6.8 假定 AAIE, KAT 的 奇异 值 分 解 。 

6.9 证 明 : 若 4 为 nxn ERER, 则 4 的 奇异 值 与 4 的 特征 值 相同 。 

6.10 SA Amxn HE, BPN mxm ICR. UE PA 与 A 的 奇异 值 相 
A. Wit PA 与 AMA. 右 奇异 向 基 有 何 关系 ? 
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6.11 4 A E—Â mxn HBR, HEH 入 ,Xo,… ,和 是 矩阵 ATA 的 特征 值 , 相对 应 
的 特征 向 量 为 uj, wo,… hyo 证 明 A 的 奇异 值 ci SETIER Au BE 


a = Aul, = 也 2 


8.12 SA dg Ag 和 upt ya PRISER ATA 的 特征 值 和 特征 向 地 。 
BESE A 有 7 PERRA, 证 明 (Aan, Aun Au) 是 列 空间 Col(A) 的 一 
正 交 基 , JfH rank(4) =r. 

O13 $ B.C ERM", REER A= B+C 与 实 分 全 阵 | y| 的 奇异 
和 奇异 向 量 之 问 的 关系 。 

6.14 AYER Ace (m >n) MERHER |S | mEn, 

6.15 利用 MATLAB ŘÆ [U,S, V] = svd(X) 求解 方程 Az = b, 其 中 


1 1 
3 3 
1 
2 


6.16 假定 计算 机 仿真 的 观测 数据 为 


A= 


Loc 


1 
1 


a(n} = V20sin(2n0.2n) + V2sin(2n0.215n) + w(r) 


产生 , 其 中 , wa) 是 一 高 斯 白 噪声 , 其 均值 为 0, 方差 为 1, 并 取 n =1,2,--- ,128。 试 针 
对 10 次 独立 的 仿真 实验 数据 , 分 别 确 定 自 相关 甜 阵 


MO rD o r2) 
r O o p+) 
AM) ra- 1) e rM- 2p) 


128 一 所 


的 有 效 秩 。 式 中 , r(k) = 5 a 让 zli + k) RIAA S HOPES HARAR (本 知 的 


观测 数据 皆 令 其 等 于 0), 并 取 M- 50, p= 10。 

6.17 [54 使 几 奇 异 值 分 解 证 明 : E 4 e R (m > n) 则 存在 Qe R” 和 
Pe Fx", 使 得 4 = QP, HH, QTQ = In 并 且 P 是 对 称 的 和 非 负 定 的 。 这 一 分 解 
有 时 称 为 极 分 解 (polar decomposition)， 因 为 它 与 复数 分 解 * = |zlei ns 类似 。 


第 7 章 总 体 最 小 二 乘 方法 


线性 参数 估计 问题 广泛 存在 于 众多 科学 与 工程 学 科 ， 如 信号 处 理 、 白 动 控制 、 系 统 
理论 、 物 理 、 化 学 二 程 、 统 计 学 、 经 济 学 、 生 物 学 、 医 学 和 军事 工程 等 。 最 小 二 乘 方 法 是 
最 常用 的 线性 参数 估计 方法 。 实际 上 , 早 在 高 斯 的 年 代 , 最 小 一 乘 方法 就 用 来 对 平面 上 的 
点 拟 合 线 ， 对 高 维 空间 的 点 拟 合 超 平面 。 然 而 , 若 给 定 一 数据 向 量 5 和 一 数据 滤 阵 A, 通 
过 求解 线性 方程 As = 的 最 小 一 乘 方法 ， 只 是 在 b 向 量 的 噪声 或 误差 是 零 均值 的 高 斯 
白 噪 卢 的 少数 情况 上下， 才能 保证 误差 的 平方 和 为 最 小 , 最 小 二 乘 估 计 aps 才 等 价 于 极 大 
似 然 法 的 解 。 如 果 A 也 存在 误差 或 者 扰动 ， 那 么 最 小 二 乘 估计 zwLs = (ATA) AT 从 
统计 观点 看 就 不 再 起 最 优 的 , 它 将 是 有 偏 的, 而 且 偏 差 的 协 方差 将 由 丁 4".4 MERR 
差 的 作用 而 增加 。 因 此 , 4A 也 存在 噪声 时 ,应 该 使 用 其 他 的 推广 最 小 二 乘 方法 。 作 为 
奇异 值 分 解 在 线性 代数 中 的 应 用 ， 本 章 将 重点 介绍 总 体 最 小 二 乘 方 法 及 其 推广 一 一 约束 
总 体 最 小 一 乘 和 结构 总 体 最 小 二 乘 方法 。 


7.1 最 小 二 乘 方法 


最 小 二 乘 方法 是 一 种 在 科学 计算 中 广泛 使 用 的 方法 。 本 节 简 要 分 析 最 小 二 乘 方法 的 
工作 原理 、 最 优 解 的 条 件 及 其 不 足 。 
7.1.1 参数 的 唯一 可 辨识 性 


给 定 mm x 1 数据 向 量 Al m x n 数据 矩阵 4 我们 希望 求解 矩阵 方程 Ar = bo 如 
果 无 噪声 存在 ， 则 适 定 方程 组 OEM A 正定 ) 古 一 致 的 ， 方 程 存在 唯一 的 解 = = A'b. 
然而 ,矩阵 方程 超 定 (独立 的 方程 个 数 大 于 独立 的 未 知 数 个 数 ) 时 ，4z =b 将 不 再 是 一 
致 方程 。 此 时 , 我 们 会 很 白 然 地 想到 选择 这 样 一 种 求解 的 准则 : 使 误差 的 平方 和 


= 人 Ail2 = (Ab)? Ad = (b — Ax) "(6 - Az) (7.1.1) 
最 小 。 这 样 得 到 的 解 s 称 为 最 小 一 乘 解 。 最 小 二 乘 方法 等 价 于 
在 条 件 he = b+ Ab 约束 下 ， min Aol] 


因此 , Beeb RAVAN A BAUR IE Ab 尽 可 能 小 同时 道 过 强 令 4z = b+ Ab 
补偿 存在 于 数据 向 量 b 中 的 噪声 。 为 了 得 到 最 小 二 乘 解 ， 展 开 式 (7.1.1) 得 到 


由 一 BID 一 8T4z 一 2TATD+zT4T4z 
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求 8 相对 于 z 的 导数 ,并 令 其 结果 等 丁 零 , 则 有 


d$ _ AT) 4 2AT Ae =0 
dz 


也 就 是 说 , 解 = 必然 满足 
4T4z = 4Tb (7.1.2) 
4m xn 矩阵 4 具有 不 同 的 秩 时 ， 上 述 方程 的 解 有 两 种 不 同 的 情况 。 
情况 1 rank(4) = 
由 于 ATA 古奇 异 , 所 以 方程 有 唯一 的 解 , 


a = (ATA)-1ATD (7.1.3) 


这 恰好 就 是 我 们 在 第 1 章 证 明 过 的 最 小 二 乘 解 。 人 在 参数 估计 理论 中 , 称 这 种 可 以 唯一 确 
定 的 未 知 参数 = 是 (唯一 ) 可 辨识 的 。 

情况 2 rank(A) <n 

在 这 种 情况 k, 由 z 的 不 局 解 均 得 到 相同 的 4z 值 。 显而易见 , 虽然 数据 向 量 5b 可 
以 提供 有 关 Ar 的 某 些 信息 , 但 是 却 无 法 区 别 对 应 于 相同 Ar 值 的 各 个 不 同 的 未 知 参数 
向 量 op 因此 , 称 这 样 的 参数 向 其 是 不 可 辨识 的 。 更 一 般 地 , 如 果 某 参数 的 不 同 值 给 出 在 
抽样 空间 上 的 相同 分 布 , 则 称 该 参数 是 不 可 辨识 的 [9 。 

下 面 以 信号 处 理 中 的 三 个 典型 例子 说 明 可 辨识 性 的 重要 性 , 其 中 , 例 7.1.1 的 可 辨识 
性 比较 简单 , 例 7.1.2 十 一 个 缺乏 可 辨识 性 的 典型 例子 ,而 例 7.1.3 则 介 于 二 者 之 间 。 

例 7.1.1 (MYW 方程 ) 考虑 一 个 平稳 的 离散 ARMA (p,9) 过 程 


ya s(n- i)= She e(n — j) (7.1.4) 


i=0 


其 中 , 输入 是 一 个 正 态 分 布 的 白 噪声 , B e(n) ~ N(0,o2)。 对 于 此 模型 , 有 下 列 著名 的 修 
iE Yule-Walker (MYW) 方程 : 


Yan C -i)=0, Yr>g (7.1.5) 
i=0 
假定 已 知足 够 多 的 白 相关 函数 R(7) = E{z(n)z(n + 7)}， 问题 是， MYW 方程 有 无 穷 多 
个 , 我 们 能 否 从 有 限 个 方程 唯一 地 确定 AR 参数 a,,i=1,2,- 


可 以 证 明 1459. pp.89~90], ELR A(z -Ya 274 M B(z — 2 一 没有 可 对 消 
i=0 


i=0 


的 因子 , 即 a, £0, 则 AR 参数 ui 可 由 


p 
P aR- =0, r=qgtlg+2 ,9+p (7.1.6) 
各 


唯一 地 确定 或 辨识 。 在 AR 参数 的 可 辨识 性 的 证 明 中 , 主要 是 证 明 式 (7.1.6) 的 矩阵 形式 
Ra = -7 的 自 相 关 和 矩阵 R 是 满 秩 的 。 , 
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例 7.1.2 (二 维 MYW 方程 ) 考查 平稳 的 二 维 线性 ARMA (ph 7034,,42) 过 程 


Pi Pa a a2 
L Maja -i.n-j) =} J byem -in - j) (7.1.7) 
i=0 j=0 i=0 j=0 
其 中 , elm,n) RES. 方差 为 o2 的 二 维 白 噪声 。 对 此 模型 , 有 二 维 MYW 方程 
PL Pz 
SO JayR,- is- j) =0260,8), (r,s) EB (7.1.8) 
i=0 7 一 0 


式 中 
B= {(r,s)lr > 和 与 (或 )s > a} 

二 维 AR 参数 a, 不 是 唯一 可 辨识 的 ， 因 为 给 定 若干 二 维 自 相关 函数 R,(r, 9)， 虽然 可 以 
从 二 维 MYW 方程 (7.1.8) 确定 一 组 一 维 AR 参数 aij， 但 是 却 不 能 够 保证 它们 是 原来 的 
二 维 AR 参数 。 这 主要 是 因为 , 求解 二 维 MYW 方程 (7.1.8) 所 需要 的 二 维 白 相 关 消 数 
R,(r, 6) 的 独立 个 数 ( 自 相关 遂 数 是 偶 函 数 ) 要 比 ay 的 个 数 多 ,不 能 够 满足 所 谓 的 二 维 
自 相 关 函 数 匹 配 原 则 , 详 见 文献 [520] 中 的 8.4 节 。 

例 7.1.3 (高 阶 累积 量 MYW 方程 ) 如 果 激 励 ARMA 模型 式 (7.1.4) 的 输入 eln) 是 
一 个 零 均 值 的 非 高 斯 白 噪声 ， 则 非 高 斯 输出 过 程 {z(n)} 的 高 阶 累积 量 Cral Th) 
服从 下 面 的 MYW 方程: 


r 
Doce(T -bm)=0,， 71>, mÈ (7.1.9) 
a0 


其 中 ， cg, (7,m) = Cho (7,m,0,--- ,0)。 对 于 某 个 固定 的 m, WR MYW 方程 存在 唯一 的 
解 , 就 称 cue(rm)] 是 一 个 满 秩 切 片 。 然 而 , 对 于 某 些 m, 满 秩 切 片 有 可 能 不 存在 。 例 如 ， 
对 于 最 大 相位 的 ARMA(2,2) 模型 , 有 
(2 - a7? )(z— araz") 

(z — ay}(z — a) 


P, oa Ady. Swami 和 Mendel “38 证 明了 ,对 任意 m 关 0, 以 下 递 推 关系 均 成 立 : 


H(z) = 


Css(—T,m) — Age, (1 ~ T m) =0, T>1 


这 意味 着 , 只 要 未 包括 m = 0 在 内 , 无 论 使 用 多 少 一 维 切片 c3(7, mm A 0) BARBER 
极点 og, 而 不 可 能 辨识 极点 a 究竟 需要 多 少 切片 以 及 哪些 切片 才能 确保 恢复 出 全 部 极 
点 或 真实 的 AR 参数 ? 这 就 是 利用 高 阶 累积 量 估计 非 高 斯 ARMA 模型 AR 参数 的 (唯一 ) 
可 辨识 性 问题 , 可 以 证 明 98072, 当 取 T=4+1,9+2,.… ,¢+pH m =q-p,q—ptl,:--,¢ 
时 ， 高 阶 累积 量 MYW 方程 式 (7.1.9) 的 解 是 唯一 确定 的 , 即 给 出 原 AR 参数 。 


7.1.2 Gauss-Markov 定理 


在 参数 估计 理论 中 , 称 参数 向 量 9 的 估计 为 无 偏 估计 ， 若 它 的 数学 期 望 值 等 于 真 
实 的 未 知 参数 向 量 , 即 EG} = 8。 进一步 地 , 如 果 一 个 无 偏 估 计 还 具有 最 小 方差 ， 则 称 
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这 一 无 偏 估 计 为 最 优 无 偏 估计 。 类 似 地 ， 对 于 数据 向 芥 二 含有 加 性 噪声 或 者 扰动 的 超 定 
APL AQ = bte, HER) FRR ĝus 的 数学 期 望 等 于 真实 参数 向 量 9, 便 称 最 小 一 乘 解 
是 无 仿 的 。 如 有 果 它 还 具有 最 小 方差 , 则 称 最 小 二 乘 解 是 最 优 无 偏 的 。 

定理 7.1.1 (Gauss-Markov 定理 ) 考虑 线性 方程 组 


A0 =b+e (7.1.10) 


RP, mxn 矩阵 A 和 nx1 向 基 8 分 别 为 常数 矩阵 利 常数 向 量 ; 5 为 mx1 ARE. 它 
存在 随机 误 养 向量 e = [ejen ,em]T。 误 养 向 量 的 均值 向 量 和 协 方差 扼 阵 分 别 为 


E{e} = 0， cov(e) = E{ee"} = oE 
nx 1 参数 向 其 8 的 最 优 无 偏 解 6 TE, HRY rank(4) = no 此 时 ,最 优 无 偏 解 由 
日 = (ANA) ABD (7.1.11) 


给 山 ， 其 方差 
var(8) < var(6) (7.1.12) 


stp, 6 是 矩阵 方程 AO = b+ e 的 任何 一 个 其 他 解 。 
证 明 由 假设 条 件 Efe} = 0 立即 有 有 


E{b} = E{ 40} — Efe} = Ae o) 
利 出 已 知 条件 cov(e) = E{feeH} = o2I, 并 注意 到 AO REAM e 统计 不 相关 , 义 有 


E{bb"} = E{(A@ — e)(A@ — e)"} = E{ AGO" A} + E{ee"} = AGO AF + 07F (2) 


由 丁 rank(4) =n, HERE ATA 非 奇异 ,因此 有 
E{6} = BE{(4E4)-:4Hb] = (A A) 1ANE{d} = (AMA) 1AM AO = 6 


即 最 小 二 乘 解 6 = (ANA) AMD SEE AO = b + e 的 无 偏 解 。 
下 面 证 明 ô 具有 最 小 方差 。 为 此 , 假定 9 还 有 另外 一 个 候补 解 Š, 则 可 以 将 它 写作 


6=6+Cb+d 


式 中 , C 和 分别 为 常数 佐 阵 和 常数 向 量 。 解 6 是 无 偏 的 , 即 


E{6} = E{6} + E{Cb} +d = 0+CA0+d=0+CA9+d, VO 


HHR“ 
CA=0 (ẸHEE) d=0 (3) 
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利用 这 两 个 无 偏 约 来 条 件 ， 易 知 E{Cb} = CE{b} = C48 = 0。 丁 是 , 得 
cov(6) = cov(6 + Cb) = E{[(6 -b+CUK — 8) + Co} 
= cov(6) + E{(8 — 6)(Cb)¥} + E{Cb(ô — 0)8} + E{Cbb"C"} (4) 
但 是 , 由 式 (1) ~ 式 (3), 易 知 
E{(6 — Cb} = E{(AĦ A) A" bb" C" } — E{g5ECIH] 
= (AĦ A) APE{bb"}C" — oF {D4 }CF 
， = (ATA) IAT (A09" AP + o° INO" — 00" A"C" = O 
E{Cb(ê - 0)¥} = [B{(6 - 0)(Cb)*}]" =O 
E{CbbiCH} = CE{bb"}C® = CU(488H4HE + 0? NCH = o2CCH 
故 式 (4) 可 化 简 为 
cov(ĝ) = cov(d) + o2CCH (5) 
利用 迹 函数 的 性 质 tr(A + B) = tr(A) + tr(B)， 并 注意 到 对 丁 具 有 零 均值 向 二 的 随机 向 
fit x, Ff tr[cov(a)) = var(a), 可 将 式 (5) 改写 作 
var(8) = var(6} + o2tr(CC™) > var(8) 


式 中 , 利用 了 迹 靖 数 的 不 等 式 tr{CCS) > 0。 这 就 证 明了 8 具有 最 小 方差 ,从 而 是 最 优 


无 偏 解 。 7 
注意 ， 定 理 7.1.1 的 条 件 covle) = 7] BREMER HE e 的 各 个 分 量 互 不 相 
类、 并且 县 有 相间 方差 22。 只 有 在 这 种 情况 下， 最 小 二 乘 解 才 是 无 偏 的 利 最 优 的 。 这 正 
是 Gauss-Markov 定理 的 物理 含意 所 在 。 
PoE RHE A < Cmx”， 数 据 向 其 b e Cm 可 以 表示 为 


A=A,+AA, b=b+ôb (7.1.18) 
其 中 , AA 和 Ab 分 别 是 满 秩 的 一 致 线性 方程 组 Aono = bo 的 噪 卢 扰动 。 
车 数据 矩阵 4 的 扰动 矩阵 AA REFER, M ors 一 般 起 有 偏 的 ,不 再 与 最 小 均 
TREAT BUR AES tt 
假定 (ABA, HAAA, + ARAA + AAMAA) 的 特征 值 小 于 1。 此 时 ， 可 以 对 
(AMA)! 进行 展开 , 并 得 到 apg 的 下 列 近似 表达 式 {最 高 至 AA 的 一 阶 项 ) 22 
Ts = (AD Ao) Aob + (A Ay) LAG Abt 
(AFA) TAANIT — Ao( AG Ao)“ Abby 
=(A0 Ao) AD AA(AJ A) Agbo (7.1.14) 
从 该 表达 式 可 以 看 出 , 如 果 A HAREP TAN oF NED BE. Ab 的 分 
量 是 零 均 值 、 HHA of 的 独立 同 分 布 噪声 , 而 且 AA 和 Ab 的 分 量 相互 独立 ， 旭 最 小 二 
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RE z1s 的 方差 与 A4 = O (FER) 的 情况 相 比 有 明显 增加 。 业已 证 明 223, 方差 的 增 
加 倍数 等 
1+ (01/02)? (AFA) AG boll? 
总 结 以 上 讨论 知 ， 普 道 最 小 二 乘 的 基本 思想 是 用 一 个 范 数 平方 为 最 小 的 扰动 向 量 @ 
去 干扰 数据 向 量 b 以 校正 5 中 存在 的 噪声 。 当 A 和 6 二 者 均 存在 扰动 时 , 求解 矩阵 方 
F As =b 的 最 小 二 乘 方法 将 会 导致 大 的 方差 。 


7.2 总体 最 小 二 乘 : 理论 与 方法 


为 了 克服 最 小 二 乘 方法 的 缺点 , 在 求解 矩阵 方 穆 的 时 候 , 就 需要 同时 考虑 矩阵 A 和 
HE 中 的 扰动 。 总 体 最 小 二 乘 方法 体现 的 正直 这 一 基本 导 想 。 


7.2.1 总 体 最 小 二 乘 解 


尽管 最 初 的 称呼 不 同 , 总 体 最 小 一 乘 (total least squares, TLS) 实际 上 已 有 相当 长 的 
MET. 有关 总 体 最 小 二 乘 最 早 的 思想 可 追溯 到 Pearson 于 1901 年 发 表 的 论文 9, 当 
时 他 考虑 的 是 4 Alb INFERRED Ar = b 的 近似 求解 方法 。 但 是 ， 只 是 
在 1980 年 , 才 由 Golub 和 Van Loan [8] 从 数值 分 析 的 观点 首次 对 这 种 方法 进行 了 整体 
分 析 ， 并 正式 称 之 为 总 体 最 小 二 和 张 。 在 数理 统计 中 ,这 种 方法 称 为 正 交 回 妇 (orthogonal 
regression) 或 变量 误差 回归 (errors-in-variables regression) (176l。 在 系统 辨识 中 , 总 体 最 小 
二 乘 称 为 特征 向 量 法 或 Koopmans-Levin 方法 [sal。 现在 , 总体 最 小 二 乘 方法 已 经 广泛 应 
用 于 工程 领域 中 。 

总 体 最 小 二 乘 的 基本 思想 可 以 归纳 为 : 不 仅 用 扰动 向 量 e 去 干扰 数据 向 量 b 而 且 
用 扰动 矩阵 E 同时 干扰 数据 矩阵 A, 以 便 校正 在 A M b 二 者 内 存在 的 扰动 。 换 句 话说， 
在 总 体 最 小 二 : RE, 考虑 的 是 矩阵 方程 


(4 十 盏 mp 一 b+e (7.2.1) 
的 求解 。 显然, 上 式 也 可 以 改写 作 
(=b, Al + [e E) [a] =0 (722) 
或 等 价 为 
(B+D)z=0 (7.2.3) 


sth, MER B = [-b, A] 和 扰动 矩阵 D = [-e, E] 均 为 m x (n+ 1) AEM, T 
z= [al 为 (n+1)x1 向量。 
求解 齐 次 方程 (7.2.3) 的 总 体 最 小 二 乘 方法 可 以 表示 为 约束 最 优化 问题 ， 


pin DI (7.2.4) 
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约束 条 件 为 
{b + e) € Range(.A + E) (7.2.5) 


AH, Dip BEB D 的 Fronenius 范 数 ， 即 


1/2 
Dip = (= Sa) = tr(DID) (7.2.6) 
i=l j=l 

且 约束 条 件 (6 +e) € Range(A+ E) 的 涵义 为 : # +e) e Crxl， 则 一 定 可 以 找到 某 个 
PECnxl 使 得 b+e= (A+ Ba. 

4m <n+i 时, 方程 (7.2.4) 是 欠 定 的 , 存在 无 穷 多 个 解 2, 而 TLS 方法 可 给 出 最 
小 范 数 解 。 下 面 重点 研究 超 定 方程 ( 即 m > n) 的 总 体 最 小 二 乘 解 。 

在 超 定 方程 的 总 体 最 小 二 渠 解 中 , 有 两 种 可 能 的 情况 。 

情况 1 on 明显 比 opp A 即 最 小 的 奇异 值 只 有 - -个 。 

式 (7.2.4) KE, 总 体 最 小 二 乘 问题 可 以 归结 为 求 一 具有 最 小 范 数 平方 的 扰动 策 阵 
De om) 使 得 B+ D 是 非 满 秩 的 (如 果 满 秩 , 则 只 有 平凡 解 z = 0). 

RKE, MRA DORA z 是 一 个 单位 范 数 的 向 量 ， 并 且 将 式 (7.2.3) 改写 为 
Bz =r = -Dz, 则 总 体 最 小 二 乘 问题 式 (7.2.4) 又 可 以 等 价 写作 一 个 带 约 束 的 标准 最 小 
“RAB 


min | Bz} = min jiri? (7.2.7) 


约束 条 件 为 
zz 一] (7.2.8) 
因为 r 可 以 视 为 矩阵 方程 Be = 0 的 总 体 最 小 二 乘 解 z 的 误差 向 量 。 换言之 , 总 体 最 小 
RHR z 是 使 得 误差 平方 和 jjr| 为 最 小 的 最 小 二 乘 解 。 
上 述 带 约 来 的 最 小 一 乘 问题 很 容易 用 Lagrange 乘 数 法 求解 。 EX EG 


J =|BzB+ AQ ~ 272) (7.2.9) 
R, A 为 Lagrange JEM. EER] Bz? = 4B" Bz, 故 由 27 一 0, 得 到 
B"Bz = Xz (7.2.10) 


REH, Lagrange 乘 数 应 该 选择 为 矩阵 BLB 的 最 小 特征 值 ( 即 B 的 最 小 奇异 值 的 平方 
根 )， 而 总 体 最 小 — ee z 是 与 最 小 寄 异 值 VA 对 应 的 右 奇异 向 量 。 
令 mx (n 十 1) BSE B 的 奇异 值 分 解 为 
B=uxv" (7.2.11) 


并 且 其 奇异 值 按照 顺序 o > cz > Po 罪 列 , 与 这 些 奇 异 值 对 应 的 右 奇 异 向 量 为 
Byte Mae 本 是 ,根据 上 面 的 分 析 , 总 体 最 小 二 乘 解 为 = = vape BREW RE 
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阵 方程 Aw =b 的 最 小 一 乘 解 由 下 式 给 出 ; 


1 v(2,n+1) 
rus = Ty : . (7.2.12) 
win ry) unt int A 
其 中 , vlin +1) 是 Y 的 第 n+1 列 的 第 i 个 元 素 。 
情况 2 最 小 奇异 值 多 重 (最 后 面 若干 个 奇异 值 是 重复 的 或 非常 接近 )。 
不 妨 令 
01 20g Bi È Op > Oppi Sr Onga (7.2.13) 


Ho, 是 子 空间 


S= Span{wp+fiyup+2， Ungar} 
中 的 任 一 列 向 量 , 则 上 述 任 一 右 奇异 向 量 w 都 给 出 一 组 总 体 最 小 二 乘 解 


了 一 Wijai， i=p+l,p+2, ,n+l 


其 中 , as 是 向 量 v, 的 第 一 个 元 素 , 而 其 他 的 元 素 组 成 向 直 y 也 即 v; = 网 因此 , 会 
Enti- p 个 总 体 最 小 二 乘 解 。 然 而 ， 可 以 找 出 在 某 种 意义 下 唯一 的 总 体 最 小 二 乘 解 。 
可 能 的 唯一 解 有 两 种 : 

(1) 最 小 范 数 解 : 解 向 量 由 n 个 参数 组 成 。 

(2) 最 优 最 小 二 乘 近 似 解 : 解 向 量 仅 包含 p 个 参数 。 

L RENERE 

包含 n 个 参数 的 总 体 最 小 二 乘 解 称 为 最 小 范 数 解 。 求 解 最 小 范 数 解 的 总 体 最 小 二 乘 
算法 由 Golub 和 Van Loanll83 提出 。 

算法 7.2.1 (最 小 范 数 解 的 TLS 算法 ) 

HR 1 计算 增 广 矩 阵 B 的 SVD: 


B=U 7 vi 
0 Fatt, 
并 存储 矩阵 Vo 
PRL 决定 主 奇异 值 的 个 数 p, MAH op > ony HER Op 之 … Ong 确定 p 


Hp, e 是 某 个 很 小 的 正 数 。 
BRE FV, = [opn paar Pail EV MARES, IGE Householder 变 


的 矩阵 @ 使 得 
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其 中 , a pirk, x 代表 其 数值 在 下 一 步 不 起 作用 的 块 。 

FRA oazo, Maggs =y/a; Ha=0, 则 对 原 设 定 的 p 无 TLS 解 , 应 减 小 p， 
HGH p-p- FER LR, 直至 求 出 唯一 的 TLS 解 。 

步骤 4 表明 , 确定 errs 只 需要 使 用 [a, yT 因此 在 步 又 3， 没 有 必要 计算 整个 年 
BQ, 只 需要 计算 出 @ 的 第 1 列 即 可 。 具体 说 来 , [a, yT 可 以 道 过 使 8 的 第 1 列 取 
V, 的 第 1 TORRE BRS (还 有 其 他 方法 , 但 这 是 最 简单 的 一 种 )。 如 果 令 向 其 
D, EBE Yi 的 第 工行 , 即 对 Yi 作 如 下 分 块 : 


Vi= ly] (7.2.14) 


ETH TLS 解 最 终 写作 


=a Vof (7.2.15) 


” 显然 , a 心 0 对 应 于 Vy 的 第 1 行 均 为 数值 很 小 的 元 素 。 在 这 种 情况 下 , 应 该 减 小 p 即 增 
加 Yi 的 维 数 ， 以 便 得 到 一 个 非 等 的 oc = 0,07 CER, 这 里 的 a, 是 一 个 行 向 量 )。 

应 当 注 意 的 是 ， 最 小 范 数 解 ers 和 原 方 程 Ar = b 的 未 知 参数 向 量 zx 一 样 ， 含 有 
n TER. BETA, 尽管 B 的 有 效 秩 p 小 丁 n, 但 是 最 小 范 数 解 仍然 假定 在 向 量 x 中 
的 nn 个 末 知 参数 是 相互 独立 的 。 事 实 上 ， 由 于 增 广 拖 阵 B = [-b, A] 与 原 数据 矩阵 A 
具有 相同 的 秩 ， 故 4 的 秩 也 起 p。 这 意味 着 , A 中 仅 有 p 列 是 线性 独立 的 ， 从 而 原 方程 
Ag = b 中 线性 独立 的 待 求 参数 的 个 数 是 p 而 不 是 n。 概 而 言 之 , 在 TLS 问题 的 最 小 范 
数 解 中 包含 了 一 些 元 余 的 参数 , 它们 与 另外 一 些 参数 是 线性 相关 的 。 在 信和 与 处 理 和 系统 
理论 中 , 往往 对 另外 一 种 不 含 元 余 参 数 的 唯一 TLS 解 更 加 三 兴 趣 , 这 就 是 最 优 最 小 一 乘 
近似 解 。 

2、 最 优 最 小 二 来 近似 解 

首先 , 令 mx (n+ 1) RE B ER HE B 的 一 个 秩 p 的 最 住 逼近 ， 即 


B=ur,v" (7.2.16) 


HP, D, = diag(cb 02: ,9p,0,…… ,0)。 
BA m x (p+ 1) HIE BP Æ mx (m+1) ROLES B 中 的 一 个 子 窍 阵 , 定义 为 


BP: hB VB j 列 到 第 p+ 了 列 组 成 的 子 矩阵 (7.2.17) 
显然 , 这 样 的 子 甜 阵 共有 n +1 一 p 个 , BY) BP, ,下 pe 
如 前 所 述 ，B 的 有 效 秩 为 p 意味 着 参数 向 量 s 中 只 有 p 个 是 线性 独立 的 。 不 妨 令 
+11 向量 == | ipl 其 中 , x 四 是 由 向 量 = 中 的 p 个 线性 独立 的 未 知 参数 组 成 
的 列 向 大。 这样 一 来 ， 原 总 体 最 小 一 乘 问题 的 求解 就 变 成 了 下列 n+1- p 个 TLS 问题 
的 求解 : 


BPa=0, j=12 ,nt+1-p (7.2.18) 
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或 等 价 为 合成 的 TLS 问题 的 求解 : 
Bit :pt1) 


Be a 3 =0 (7.2.19) 


Bin+1 Ipini 
RH, BG: pti) 代表 式 (7.2.17) 定义 的 BP. THEA 
Bli:p+i)= Eoi (7.2.20) 
式 中 , vp EEEE V 的 第 无 列 向 量 的 一 个 如 窗 自 ， 其 定义 为 
i = [UG kh vlt Lk) vli +p kT (7.2.21) 


XE, v(i, k) ERER V 第 宇 行 第 上 列 上 的 元 素 。 
根据 最 小 二 乘 原理 , 求 方程 组 (7.2.19) 的 最 小 二 乘 解 等 价 于 使 测度 (或 代 价 ) 函数 
f(a) = (Bt: p+ 1a ÊA : p+ 1a + [B(2: p+ 2a)" B(2 : p+ 2%at---+ 


(B(n+i—p:n4l)aFBinti-p:ntDe 
n+p 


=a" | 》 (BG: p+ BG: p+i)| a (7.2.22) 
im] 
极 小 化 。 
定义 (p+ 1) x (p 十 1) 和 矩阵 
n+l- 
s=- y5 "Ba p+ iP BG: p+ i) (7.2.23) 
i=l 
TURRE PR BAT A T A 
flay = alse (7.2.24) 
F(a) 的 极 小 化 变量 a 由 3f(a)/8a* = 0 给 出 , 其 结果 为 
Sa = ae, (7.2.28) 


AY, el = [1,0,… ,0]7, 而 归 一 化 常数 o 应 该 使 解 向 基 a 的 第 一 个 元 素 等 十 1。 由 定义 
式 (7.2.23) 和 式 (7.2.20) 可 以 求 得 
p ntl-p 
SH = YO oioi (7.2.26) 
j=l i=l 
方程 (7.2.25) 的 求解 是 简单 的 , 它 与 未 知 的 妇 一 化 常数 a 无 关 。 如 果 我 们 令 SO 
为 矩阵 SO RNEER, MAHE a RA PEER S-O 的 第 1 列 。 BS, 欲求 的 TLS 
解 zo) = fpmrs(1),zrts(2)，…zrrs(pl7 由 
mrs = HS PHTLINS (TD = 也 2 (7.2.27) 
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出 。 通常 称 这 种 解 为 最 优 最 小 二 乘 近 似 解 。 由 于 这 种 解 的 参数 个 数 与 有 效 秩 相同 ， 故 
人 总 体 最 小 二 乘 解 "ol。 

归纳 起 来 , 求 最 优 最 小 二 乘 近 似 解 的 具体 算法 如 下 。 

算法 7.2.2 (SVD-TLS 算法 } 

PRI EOR SEE B 的 SVD, 并 存储 右 奇异 矩阵 Ve 

步骤 2 MEB 的 有 效 秩 po 

步骤 3 利用 式 (7.2.26) 和 式 (7.2.21) 计算 (p+ 1) x (p+ 1) 矩阵 SO, 

步骤 KS?) 的 道 矩阵 SO, FHR (7.2.27) 求 最 优 最 小 一 乘 近似 解 。 

上 述 算 法 的 基本 思想 是 由 Cadzow [rol 提出 来 的 。 


7.2.2 ”总体 最 小 二 乘 解 的 性 能 


总 体 最 小 一 乘 有 两 个 非常 有 趣 的 解释 。 一 个 是 它 的 几何 解释 28), © af 是 矩阵 的 
第 i 行 , b; 是 向 二 5 的 第 AIC, 则 总 体 最 小 二 乘 解 zmLs 是 使 


(7.2.28) 


的 极 小 化 变量 , 其中, fale _ il/(ere +1) 是 从 点 人 eon 到 子 空间 P, 内 的 最 近 
AMER, PRI P, 定义 为 


P, = { (le eC" ,bE0,b= sta} (7.2.29) 


因此 ， BH -RRANTZIA P, RE 换言之 ,总体 最 小 二 乘 问题 等 价 于 求 到 n 
个 二 元 组 (8) 621,900 ,n 的 最 近 的 子 空间 Po MEA ( 9 到 P, ERREN 
MAR). B dh 1 画 出 了 一 维 情况 下 TS 解 与 TLS 解 的 比较 。 


(azb) 


(a, di) 


图 7.2.1 LS 解 与 TLS i 
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E 7.2.1 中 , 虚线 表示 的 是 LS 解 , CE CS bh) 平行 的 竖 直 距离 ; 实 线 所 示 为 TLS 
解 , 它 始 丁 点 (apb ZEER b = ze 的 重 方 虐 离 。 从 这 一 儿 何 解释 , 可 以 得 出 结论 ; 总 
体 最 小 一 乘 方法 比 最 小 一 乘 方法 好 , 央 为 前 者 企 曲线 拟 合 中 的 残 差 最 小 。 

另外 一 个 有 趣 的 解释 是 总 体 最 小 一 乘 解 的 车 空间 解释 BO., 总 体 最 小 二 乘 解 可 以 圾 
示 为 


| 1 J-E a (7.2.30) 
rs, Git _ E 
其 中 
B= —v*(i,p+1) _ —v*jp+1) (7.2.31) 
i ntl az om 
E Gp +0? 
jp+1 
网 此 , smart |,” B= b, A ROSE B 
TLS. 
PA € Null(B) = Span{vpt1, Yp42 Pasi} (7.2.32) 


这 表明 , SR Se TB EE B 所 面 w+1 一 p 个 奇异 向 量 (特征 向 其 ) IKR 
的 噪声 子 空间 。 帆 于 B 由 [b, A] 给 定 , 所 以 B 和 4 的 奇异 值 分 解 以 一 种 复杂 的 方式 联 
系 在 一 起 。 SM BB 和 AMA 的 特征 向 其 之 间 没有 明显 的 关系 。 幸运 的 起, 可 以 利用 下 
面 的 表达 式 

B”Bv, =0fv;,  i=p+l,p+2,--,n+1 


假定 m-n2n+1t。 
Me B=(-6, A] flv, = hazia 不 难得 公 


bb bA A o2 D; 
Ab AXA] |v 41,9] 7% lotta) 


经 过 直接 运算 , 由 上 式 得 下 列 关系 式 : 
(ANA — oI); + 0(n +1, Ab = 0 (7.2.33) 
oY Aw, + (bb — 0?)o(n + 1,8) = 0 (7.2.34) 


这 里 假定 4 是 含有 噪声 或 者 误差 的 数据 矩阵 ， 关 而 它 是 满 秩 的 , 即 4 的 所 有 奇异 值 都 
ATS. ABI 8), 若 A 的 奇异 值 由 


ô, By Bo BSq 


给 出 ,并且 B 的 奇异 值 为 


则 


7.2 BRENZ: 理论 与 方法 415 


Ho, AG. W (AMA — 021) 是 可 逆 的 。 如 果 mi = 51, 则 应 该 取 伪 逆 算 阵 (474 ~ 02h. 
考虑 到 这 一 点 ， 并 综合 式 (7.2.33) AIA (7.2.30)， 即 可 将 总 体 最 小 一 乘 解 表示 成 
ntl 


a 1 > vn 
fs = z > vi (n+ 1,40; 
i=p+l 


1 n+l 
= 2 ont dP(A A oN AD (7.2.35) 
i=pti 
式 中 


1 +R 
SY pe+Li)?=1 
bad t=p41 


WR ong HED Opn 2 Oppa Bo Bony JEH e RA 则 
Eris = (ANA ~ opp T)'A"b (7.2.36) 


因此 ， 总 体 最 小 ; 乘 可 以 解释 为 一 种 县 有 品 声 清除 的 最 小 FETA: FO A 
ATA PUR ZR OBIT o? ji， 然后 再 矩阵 求 道 ， 得 到 最 小 -: 乘 解 。 如 果 无 噪 语 数据 
JERE Ay 被 扰动 后 ， 变 为 Agt A4， 则 协 方差 矩 睹 扰动 为 ATA = Al A, + AAMA, 十 
AGAA+AAMAA. ER, 4S) AA 只 有 和 零 均 值 时 ， 协 方差 矩阵 的 扰动 的 数学 期 望 
E{A™A} = Bf4840 + E{(AA) AA} = ABA, + B{(AA)HAA}。 洛 扰动 统计 不 相关 ， 
并 且 具 有 相同 方差 , 即 BE{(A4)TAA} =I, 则 总 体 最 小 二 乘 方 法 是 医 常 有 效 的 。 这 起 
因为 , ARE onp 恰巧 体现 扰动 因子 o 使 得 减 去 噪声 olad 后 , 可 以 恢复 原 米 无 噪声 
的 数据 矩阵 的 协 方差 窍 阵 , 即 有 ATA — 02,1 = AB Age 

更 一 般 地 , 将 Aa = b 中 的 未 知 参数 向 量 = 和 数据 向 基 B 推广 为 术 知 参数 矩阵 X 
和 数据 矩阵 B, WIRE PRET TE 


AX=B, AER™, BeR™i, Xe RM (7.2.37) 


的 TLS 解 。 此 时 , TLS 解 是 集合 


AX=B (7.2.38) 


的 任意 解 , 其 中 , A 和 局 根据 下 面 二 式 确定 : 


Range(B) € Range(A) (7.2.39) 


AA, AB] Ilp = HLA, B] - (A, Bllls 极 小 化 (7.2.40) 
RP., | lip ATJERE Frobenius 范 数 ，Range(M) 表示 矩阵 M 的 值 域 。 求 满足 式 
(7.2.39) 利 式 (7.2.40) 的 (AA, AB) 的 问题 称 为 TLS 问题 。 每 当 解 不 唯 -时 ，TLS 便 给 


出 最 小 范 数 解 。 为 了 简便 , 将 X 的 TLS 解 记 作 R. 
有 意思 的 是 ,LS 问题 事实 上 是 在 式 (7.2.37) ~ 式 (7.2.40) 中 固定 A = 4 的 附加 条 


件 下 的 “ 约 来 ”TLS 问题 。 
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下 面 从 奇异 子 空间 对 扰动 的 敏感 度 和 一 致 性 两 个 角度 分 析 TLS 解 的 性 能 [991 , 
L 奇异 子 空 间 对 扰动 的 教 感度 
式 (7.2.37) HIERE A 的 奇异 值 分 解 可 几 并 向 基 分 解 形式 写作 


n 
A= aao)", üj eR”, eR” (7.2.41) 
ii 


式 中 


区 > 的 > > 的 >0 (7.2.42) 


类 似 地 , 式 (7.2.37) 中 增 广 矩阵 [4, B] 的 奇异 值 分 解 也 可 以 表示 为 


n+d 
(A, B]= Yi, ù; € R”, eR (7.2.43) 
i=l 


6, 2a, 2>-- 2G, 20 (7.2.44) 
任意 两 个 子 空间 S, Al S, 之 间 的 距离 定义 为 
dist(S,,S2) = Py — P2llp (7.2.45) 


sth, PL 是 到 S, 上 的 正 交 投影 。 因此 ,dist(S1, $2) 描述 了 子 空 间 8, 和 5 的 接近 度 。 

从 投影 的 角度 看 问题 ,最 小 二 乘 将 数据 4 和 B 分 别 投影 到 矩阵 4 的 奇异 子 空间 
Range([āi, üh,- , 4J) 和 Range((61,04,--, BL) HP r= n Æ ARK. AEZ F, 总 
体 最 小 二 乘 则 将 A 和 B 分 别 投影 到 增 广 矩 阵 [4, B] 的 奇异 子 空间 Rangellin üz, J) 
和 Range((®y,%y, … , 8,]) 上 。 从 它们 各 自 的 定义 ,最 小 二 乘 解 X AIRA 


A,X = B’ (7.2.46) 
的 最 小 范 数 解 ， 其 中 
A, = Satie”, B= J uü B (7.2.47) 
i=1 i=l 
而 总 体 最 小 二 乘 解 X 则 是 方程 组 
AX=B (7.2.48) 
的 最 小 范 数 解 , 其 中 . 
A, b=} aar (TLS iB) (7.2.49) 
i=l 


SRF SMBS RR AT MRM TTA AEDT TLS 比 LS 具有 更 好 的 
性 能 。 为 此 ， 先 考虑 无 扰动 的 TLS 问题 AX ~ Bo 4 m x (n+ d) 矩阵 [Ao, Bo) 被 
{AAo, ABo] 扰动 , 结果 为 [4, B] = [Ao, Bol + [AAy, ABo。 使 用 r(< n) 表示 TLS iE 
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ME [Ân Bo] 的 秩 。 若 对 (Ay, Bol, [4, B] 应 用 Wedin 的 广义 正弦 定理 M3 和 TLS 条 件 
式 (7.2.39) 即 Range(A) = Range([A, ÈJ} 则 有 


dist(Range(A), Range(Ao)) < ||[AA, ABÌlle/ (čr — ar41) (7.2.50) 
dist(Range([A, ÈJ”), Range([Ag, Bol™)) < II[AA, AB]|ln/(5, ~ on) (7.2.51) 
如 果 AX = Bo 表示 一 种 精确 关系 , 则 有 (Ay, Bol = [4o Bol 从 而 式 (7.2.50) 种 


A (7.2.51) 中 的 o,,, = 0。 如 果 考 虑 满 秩 问 题 ， 即 4。 有 最 大 秩 > = mn， 则 式 〈7.2.50) 和 
式 (7.2.51) 简化 为 
dist(Range(A), Range(Ag)) < ||[AA, AB] |lp/o, (7.2.52) 
dist(Range((A, BJ"), Range([Ap, Bol") < AA, AB]|lr/õn (7.2.53) 
这 意味 着 , 若 扰动 AA, AB] 保持 很 小 , 而 且 (A, B] Br 个 和 第 >+ 1 个 奇异 值 之 间 
A “280” AAG, WY TLS 解 空 间接 近 精 确 解 。 
再 考虑 LS 问题 。 令 m xn 矩阵 Ay HEr { 即 oly = 四， 并 被 AA 扰动 ， 使 得 
A= Aot AA. 对 Ao 和 A IH Wedin P MIF MK EH. WE 


dist(Range(A), Range( A0)) < |AAlle/o’ (7.2.54) 

dist(Range(A™),Range(A?)) < [AAl[p/o} (7.2.55) 
通常 ，4 有 最 大 秋 > = n。 此 时 , 式 (7.2.54) 变 为 

dist(Range( 4), Range( Ao)) < IA Alle/on (7.2.56) 


比较 上 述 LS 和 TLS 问题 的 奇异 子 空间 的 敏感 度 ， 可 得 到 以 下 重要 观察 9, 

(1) 首先 假定 数据 矩阵 4 和 B 是 精确 关系 AX = Bo 的 测量 样本 。 假定 JAA = 
HAA, ABlils (例如 当 所 有 数据 都 一 样 被 扰动 时 ), 测量 误差 AA 和 AB 可 以 是 
任意 扰动 。 士 是 ,利用 奇异 值 的 交织 性 质 ， 即 6, > õpis 1,2,--- n (参见 文献 
[70] )， 可 以 得 出 结论 : 与 TLS 问题 相关 的 奇异 子 空间 对 噪声 的 敏感 度 比 与 LS 
问题 相关 的 奇异 子 空间 对 噪声 的 敏感 度 小 。 这 意味 着 , 前 者 可 望 “更 加 接近 ” 它 
们 对 应 的 无 扰动 子 空间 。 因 此, TLS 解 可 望 比 LS 解 更 加 精确 。 对 于 AX ~ By, 
情况 也 如 此 。 

(2) 由 于 敏感 度 的 不 同 取决 于 比率 (6, ~ or+l)/5， 所 以 当 这 一 比率 较 大 时 ，TLS 比 
LS 具有 更 高 精度 这 -点 将 更 加 明显 。 这 一 比率 主要 受 下 列 因素 的 影响 : 长 度 
(Frobenius 范 数 )， 列 的 维 数 和 观测 矩阵 B (REMAR X) 相对 于 A 的 奇异 
向 量 的 定向 。 

2， 一 致 性 
TLS 和 LS 之 间 的 精度 差别 也 与 方程 个 数 m 有 关 。 由 于 “变量 误差 ”回归 估计 子 与 
TLS 解 一 致 , 故 Gleser 对 变量 误差 回归 估计 的 一 致 性 分 析 S 直接 适用 于 TLS 问题 。 
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定理 7.2.1 (TLS 解 的 一 致 性 )n79 假定 数据 LA, B) = [Ao +AA, By + AB) 是 精确 
关系 AX = B, 的 测量 样本 , m HRANE (AA, AB] 的 行 是 独立 同 分 布 的 ,其 均值 为 
P, 协 方差 矩阵 为 827 (s RARE). E lim EATA te HEZEA, W TLS 
Xo, Eiai E 


lim Kmrs = KX, wp.l 


上 述 定理 表明 , 当 m— oo 时 ,由 不 可 观测 的 精确 关系 AX = Bo 的 m 个 观测 值 
求 得 的 TLS 解 KG, 以 概率 1 (wp) 收敛 为 真实 参数 值 入。 然而 ,众所周知 ,在 线性 
FAVE, 普通 LS 解 龙 ' 在 这 种 情况 下 总 是 非 一 致 估计 。 
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举凡 需要 求解 线性 方程 Ax = b 的 工程 问题 , 由 于 矩阵 A 和 向 量 5 的 元 素 都 是 实测 
数据 , 总 是 存在 误差 。 因 此 , 总 体 最 小 二 乘 方法 在 这 些 场合 都 可 以 使 用 。 事 实 上 , 总 体 最 
小 二 乘 方 法 已 在 耳 程 问题 中 获得 了 广泛 的 应 用 。 本 节 介 绍 两 个 典型 应 用 例子 : 频率 估计 
BOEN FIR 滤波 的 总 体 最 小 二 乘 算法 。 


7.31 总 体 最 小 二 乘 拟 合 


在 科学 与 工程 问题 的 数值 分 析 中 ,经常 需要 对 给 定 的 一 些 数据 点 ， 拟 合 一 条 曲线 或 
一 曲面 。 由 于 这 些 数据 点 通常 是 观测 得 到 的 , 不 可 避免 地 会 含有 误差 域 被 噪 户 污 染 , 总 体 
最 小 二 乘 方法 可 望 给 出 比 一 般 最 小 二 乘 方法 更 好 的 拟 合 结果 。 

考虑 数据 拟 合 问题 : 给 定 n 个 数据 点 (E) (za 加) s En Ya) 希望 对 这 些 点 拟 
合 一 直线 。 假 定 直线 方程 为 az + by 一 c == 0。 若 直线 通过 点 {zo:g) M c= arg + byo 

现在 考虑 让 拟 合 直线 通过 已 知 n 个 数据 点 的 中 心 


2 g=- lEn (7.3.1) 


nial 


PK ec = 0b + bg RA, 则 可 将 衣 线 方程 写作 


a(x — 3) +b(y-7)=0 (7.3.2) 


或 者 用 斜率 形式 等 价 写 为 
m(z— žo) + (y ~ 8) = (7.3.3) 
参数 向 量 o HT BANA LEME ke (normal vector), 而 -m = —a/b 称 为 拟 合 
直线 的 斜率 。 于 是 ， 吉 线 拟 合 问题 便 变 成 了 法 向 量 [a 或 者 斜率 参数 m 的 求解 。 


PUL Ub Ee aen 
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显然 , 将 ”个 已 知 数据 点 代入 直线 方程 后 ， 直 线 方程 不 可 能 严格 满足 ,会 存在 拟 合 
误差 。 最 小 二 溢 拟 合 就 是 使 拟 合 误差 的 平方 和 最 小 化 , 即 最 小 二 乘 拟 合 的 代价 函数 取 为 


DÍR (m,z,5) = Sl 一 二 十 和 (外 一 区 | (7.3.4) 


t=) 
DEQ (m, 2,9) = ima - 8) - (ys — DP (7.3.5) 
i=l 
g OPED -0 ; 12， 即 可 求 出 直线 伸 率 
一 me 然后, 只 要 将 m RAR (7.3.3) 
AES RTE. 
与 最 小 二 乘 执 合 不 同 , KARD SLA HU TBP IER Eo (o— 
zo) + Olu 一 10) = 0 MEERA AME. 
由 高 中 几何 或 大 学 微 积分 知 , 点 (p,q) 到 直线 az + by- c= 0 AER d 由 


bg — eo)? = b(a — vo)? 
2- too u- È _ fap m Ha yo) (7.3.6) 


ME. TE 已 知 的 ”个 数据 点 到 直线 a(z — 2) + bly- 9) = 0 的 距离 平方 和 为 


一 gy2 
D(ab,2,9) = yee (73.7) 
引 理 7.9.1 对 过 直线 的 数据 点 (zo,yo) 和 数据 点 集合 Ey) (CVa) (En Ya) 
恒 有 不 等 式 
D(a,b, 2,9} < D(a, b, xo, Yo) (7.3.8) 
等 号 成 立 , 当 且 仅 当 zo =F,y =F 
EASI Dw = (wwe, wT z= [2122 2n) A 
Wi = ala; — zo) + bg y) i= 1,2,,n 
(TE) +y -gh = 


The, 有 
D(a, b, £o, Y0) = |lwll3/(a? + b°) 


D(a, b, 2, 9) = Jz3/(0 +8?) 
令 1= [1,1,… ,1]7 H nx RAME, FEM b= a( 元 一 zo)+b8 一 加 ), W w= ztl. 
注意 到 


(2,1) = a -a(n na) + (Su-m) =0a+b0=0 


i= i=l 
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WAE z 与 1 正 交 。 由 正 交 性 > 上 31, 关系 式 w= z+hl 以 及 Pythagorean 定理 , 易 知 


1 
D(a, b, 20,40) = -yyl 
a+b 


1 
= Flip (zl 二 P7113) 


2, 
= D(a,,,5) + Fan 
2 D(a, b, 8,5) 
等 式 成 并 ， 当 且 仅 当 及 =0, W k= 0S a Tyg 当 a 关 0,6 关 0 时。 s 
引 理 7.3.1 表明 ,总 体 最 小 一 乘 拟 合 的 直线 必须 通过 n 个 数据 点 的 中 心 (2,9) 才能 


使 偏差 D 最 小 。 
为 了 求 拟 合 直线 的 法 向 最 [a bT 或 斜率 -m = -ge/5， 下 面 考虑 如 何 使 偏差 D 最 
小 。 为 此 , 将 万 写 成 2x1l 单 位 向 攻 二 = (a? +0?)-1/2 Ja, OT 与 nx2 ERE M 的 乘积 . 即 


zı- y- 


Dadap) =M= |” 8 z l (1.3.9) 

t- n- 

式 中 7 可 
M= ae ay (7.3.10) 


Zr 一 全 n- By 
由 式 (7.3.9) 直接 可 得 上 面 的 结果 Bl。 
命题 7.3,1 ”距离 平方 和 D(a, 0, 2,9) 在 单位 法 向 最 二 = (a? +07)- Ia, AT 达到 最 小 

值 , 此 时 , BRAT t Mtla 在 单位 球面 S! = {t € R?: litla = 1} 达到 最 小 值 。 
命题 7.3.1 表明 ,距离 平方 和 D(a, b,2,9) 有 一 个 最 小 值 。 下 面 的 定理 给 出 了 如 何 获 


得 这 一 最 小 距离 平方 各 的 方法 。 
定理 7.3.1 fs35 若 2 x 1 法 向 其 上 取 作 与 2x2 ERE MTM 的 最 小 特征 值 o2 对 应 


的 特征 向 量 , 则 距离 平方 和 D(a, b, 2,9) RM of. 
证 明 ”根据 n x 2 矩阵 M 的 定义 易 知 , 2 x 2 矩阵 MTM 是 一 个 实 的 对 称 半 正 定 


FEM. SHRED A 
T 
MTM =USU™ = [uy wa)] ie 3] fer 


RP, o > o 于是, 有 
D(a,b, 2,9) = | Mt]? = TMT Mt = tU SUT 
= (UTAT BU) = o? (Ut) |? + oZ (UTE) 
> of [UT P + KUT] = olua 
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由 于 向 量 范 数 相对 杆 正 交 算 阵 是 不 变 的 , 即 UT = [tl HARE 7.3.1 已 经 得 到 向 
E t #9 Euclidean 范 数 等 二 1, 故 D(a,b,z,H) > oZ lUT 简化 为 


D(a,b, 2,9) > oF a) 
另 一 方面 ， 易 知 
2 T 
zr T of 0 | fa 2 2 
De nD = M Mt uu A] [ME = of ate + 0 ugah 


注意 到 也 taua 的 Euclidean 范 数 均等 于 1, HEERE u, 和 tw 相互 正 交 , 立即 有 
D(a, b,8,9) = 07 Tt +03 uzti = 03, He=uy (2) 
综合 式 (1) AK (2) 知 , 4 t= uy 时 ,距离 平方 和 D(a, 6, 2,9) 取 最 小 值 c3 。 E 
文献 [335] 给 出 的 定理 证 明 不 严密 , 上 面 给 出 的 是 改进 后 的 证 明 。 事实 上 , 利用 lela = 
1 的 约定 , 距离 平方 和 D(a,b,z,9) 可 以 写作 
tMT™Mt 
tTt 
这 是 典型 的 Rayleigh AJER. 在 第 8 章 8.9 节 学 习 过 Rayleigh 商 后 , 利用 Rayleigh 商 的 
性 质 , 将 可 以 直接 证 明定 理 7.3.1. 
下 面 的 例子 有 助 于 我 们 进一步 理解 总 体 最 小 二 乘 拟 合 与 一 般 的 最 小 二 乘 拟 合 之 间 的 
差别 。 
例 7.3.1 己 知 三 个 数据 点 (2,1), (2,4), (5,1)。 计 算 中 心 点 , 得 
z= F2+245)=3, y= 504441) =2 


减 去 这 些 均值 后 , 得 到 零 均 值 的 数据 矩阵 


D(a, b, 2,9) = (7.3.11) 


从 而 有 


其 特征 值 分 解 为 


因此 , 法 向 量 1= [a, 87 = (1/V2,1V2|". 最 后 , 得 总 体 最 小 二 乘 拟 合 的 直线 方程 为 


a(z -可 +bg -网 =0 > Ge-3)+ Bly 2)=0 


422 第 7 章 总 体 最 小 二 委 方 法 


即 g = 一 z +5。 此 时 ,距离 平方 和 为 


Drısla,b, 2,7) = || ME = =3 


1 2 
4 

1 
Vi. 
与 总 体 最 小 -- 乘 拟 合 不 同 , BeBe) = FR A Rh eR 


2 


3 
Di (m, 2,5) = Sime; ~ 2) + (u - PP 
i=1 


= (-m — 1)? + (~m+ 2)? + (2m -— 1)? 


令 
Dis (m,8, 9) 
am 
得 m = 1/2, 即 斜率 为 -1/2。 此 时 ， 最 小 一 乘 拟 合 的 直线 方程 为 ja -3)+ -2)=0, 
BD 2 +2y~7=0, 相应 的 距离 平方 和 DO (m,z,9) = 4.5. 
类 似 地 , FR) FU ARH Et oe 


=6m-3=0 


3 
DR (m,z,9) = lay, — 3) + (wi ~ 2)? 
i= 
= (=m — 1)? + (2m ~ 1)? + (-m +2)? 


则 使 得 DR, zp) 最 小 的 m= 5, 即 拟 合 的 直线 方程 为 2 一 y 一 4 = 0， 相 应 的 距离 平 
方 和 DQ (m,z,9) = 4.5 
图 7.3.1 LL T Ls RA) A RR 


LS 拟 合 TLS 拟 合 ”LS 拟 合 
图 7.3.1 最 小 一 乘 拟 合 真 线 与 总 体 最 小 一 乘 拟 合 直线 
这 个 例子 表明 , DË (m, 2,9) = DË (m, 4,9) > Dyrg(4,0,2,9)) 即 两 种 最 小 二 乘 拟 合 


具有 相同 的 拟 合 误差 偏 差 , 它们 比 总 体 最 小 二 乘 的 拟 合 偏 养 人 。 可 见 , 总 体 最 小 二 乘 拟 合 
确实 比 最 小 二 乘 拟 合 的 精度 高 。 
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定理 7.3.1 很 容易 推 /” 到 高 维 数据 情况 。 令 n 个 数据 向 量 zi = [E zz s Emi = 
1,2,… ,n 分 别 为 m 维 数据 , 并且 


1 
元 一 oD eid TE Eq) (7.3.12) 
isl 


为 均值 即 中 心 } UA, 式 中 , a, = Slee 现在 考虑 使 用 m RERE r = Ory rg ,rn 
对 已 知 的 数据 向 量 , 拟 合 超 平面 (yperplane) s, H = 满足 法 方程 


(æ ~&,r) =O (7.3.18) 
构造 nx m 短 阵 
21 一 名 TE Ca ` Fim Em 
Map f= 77n Te O Bam (7.3.14) 
aal buba sacz o zmot 


则 可 以 得 到 拟 合 m 维 超 平面 的 总 体 最 小 .- 乘 算法 如 下 。 
算法 7.3.1 (m 维 超 平面 拟 合 的 总 体 最 小 二 对 个 法 ) aa 
已 知 n 个 数据 向 量 Tr D2, Tn 
步骤 1 计算 均 信 向 量 一 1 了 a 
FMD 利用 式 (73.14) 构造 mx m EE M. 
SMS WA mxm MTM 的 最 小 特征 信 及 其 对 应 的 特征 向 量 u 并 令 > = u 
结果 由 法 方程 (z —a, r) = 0 确定 的 赵 平 面 可 以 使 得 距离 平方 和 Dr,z) 最 小 。 
距离 平方 和 Dir, 8) 实际 上 代表 了 各 个 已 知 数据 向 基 (点 ) 到 达 超 平 而 的 证 离 平方 
和 。 央 此 , 距离 平方 和 最 小 ,意味 着 拟 合 误差 平方 和 最 小 。 
希 要 注意 的 是 , 如 果 和 矩阵 MTM 的 最 小 特征 值 (或 者 M 的 最 小 奇异 值 ) 具有 多 重 
度 , 则 与 之 对 应 的 特征 向 量 也 有 多 个 ,从 而 导致 拟 合 超 平面 存在 多 个 解 。 这 种 情况 的 发 生 
或 许 昭示 线性 数据 拟 合 模型 可 能 不 合适 ， 而 应 该 尝试 其 他 的 非 线性 拟 合 模型 。 


7.3.2 ”频率 估计 的 总 体 最 小 二 乘法 
考虑 下 列 情况 : BUTS AS EZR RAAM ARA AREE 
a(n) = Somen +w(n) (7.3.15) 
其 中 ，{z(m)] 为 观测 数据 ,fi 与 A, pore 大 个 正弦 波 的 频率 与 振幅 。 


如 果 没 有 噪声 存在 ， 即 win) = 0， 则 Proy 方法 可 以 用 来 确定 振幅 和 频率 。 应 用 
Prony 方法 时 ， 首先 形成 一 线性 差分 方程 ` 


M 
See(M+na-j=2(M+n),  2=0,1,--,N-M-1 (7.3.16) 


i=1 
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RP, {a} 为 下 列 特征 多 项 式 的 系数 ; 


2M azl =.. eyaz cy = 0 (7.3.17) 


此 ， 问 题 是 如 何 估计 系数 {a} 一口 {a} 估计 出 来 ， 特 征 多 项 式 (7.3.17) 的 根 2, = 
M 

etek 即 给 出 频率 f。 得 到 频率 之 后 ， 义 可 以 利用 线性 方程 y(n) = J Ad? 求 出 
谐 波 信号 的 幅 值 (4,2. = 

对 丁 式 (7.3.15) WAR ASH, 式 (7.3.16) 不 成 立 。 就 是 说 ，Prony 方法 不 适用 于 有 

加 性 后 噪 声 的 情况 。 此 时 , 考虑 下 列 线 人 性 预测 方程 ; 


2(0) x(1) -= 2-1] f e 2(L) 
#(1) z(2) tee a(t) erm x ah + 1) (73.18) 
a(N -z ~1) aN- L) -e oN IL à aN- 1) 
或 
Acab (7.3.19) 


其 中 ，4 BRUM, c 为 线性 预测 向 量 , b 为 观测 向 基 ， 并 且 工 > M. 显然 ， 
BLA RAEI) SBE B = [-b, A], 应 用 SVD-TLS 算法 求解 矩阵 方程 (7.3.19) BERETA 
测 器 系数 {qi 的 总 体 最 小 二 乘 解 ; REER (7.3.17) fit DS eae”, 其 中 , 单 
位 模 的 M 个 根 给 出 真实 正 弱 波 的 频率 ,其 他 根 则 对 应 为 伪 正 护 波 。 这 种 TLS-Prony 方 
法 是 Rahman 和 Yu 提出 的 Ba9。 该 方法 的 缺点 是 ， 当 数据 长 度 较 大 时 ,数据 矩阵 4 的 
行 数 太 大 ; 而 且 为 了 得 到 预测 系数 好 的 结果 ， 通 常 需 要 将 线性 预测 器 阶 数 取得 很 大 ， 即 
Le Xx, 结果 是 ， 需 要 求解 一 个 大 维 数 的 增 广 矩阵 的 总 体 最 小 二 乘 解 ， 使 计算 量 显得 太 
大 。 

为 了 大 大 减少 TLS-Prony 方法 的 计算 量 , 一 种 合理 的 选择 是 在 应 用 TLS-Prony 方法 
之 前 进行 所 谓 的 数据 抽取 。 这 种 使 用 数据 抽取 的 修正 TLS-Prony 方法 是 Steedly 等 人 提 
出 的 el。 下 而 介绍 这 一 方法 。 

假定 有 数据 向 量 yO 的 N 个 “ 快 拍 ”, 每 一 个 具有 长 度 m, 即 


y(t) = (volt), ty Ym, =,2 N (7.3.20) 
每 个 数据 向 量 的 数学 模型 都 是 噪声 中 的 指数 序列 ， 
alt) = atop +e) 9 =0,1,---,m-1 (7.3.21) 
i=1 


在 数据 中 有 n 个 各 异 的 指数 模 态 ; n 个 极点 {pi}& 不 随 快 拍 改 变 , 但 幅 值 r(t) 可 变 。 
这 里 ,假设 {eslt)} 是 不 相关 的 零 均值 复 高 斯 白 噪声 序列 ,其 方差 为 o. 方程 (7.8.21) 可 
以 紧凑 地 写作 

u(t) = Ax(t) + e(t) (7.3.22) 
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其 中 


elt) = [eoh e1(t), ~ ema)” 


zt) = fro) T) ,zm (OT 


而 有 4 十 一 个 mx n 维 Vandermonde 矩阵 ; 


1 1 1 
pp Pe pn 

4=| m om (7.3.23) 
py Dr 


令 K 是 一 个 1 FIR BEER, 它 对 由 式 (7.3.17) 定义 的 m x 1 数据 向 量 y(t) 进行 
滤波 : 


yt) = Ky(t) (7.3.24) 
其 中 , K 是 一 个 (mm 一 站 xm SEB, H 
ky kha Ag yO 
0 & ky k ko 0o 0 
K=[: 6 oo, re (7.3.25) 
O ++ 0 k wy ve h kh 0 
0 0 0 k o hy ky k 


这 里 ， [hog 是 FIR 滤波 器 的 冲 激 响 应 序列 。 注意 , 得 到 的 滤波 后 的 序 询 长 度 为 m 1 
它 不 包括 前 1 个 瞬时 点 。 由 其 的 可 以 定义 一 组 抽取 序列 : 


VEO) = vayl 0 m1, uO, dl (7.3.26) 


其 中 ,ml = [E| owe, 指标 给 出 了 数据 抽取 中 的 起 始点 。 因 此, TRER t 
序列 {uO} 表示 从 y(t) 抽取 的 一 组 交叉 序列 。 这 些 序列 有 时 称 为 多 相位 分 是 [sgl。 由 
sk (7.3.21) 和 式 (7.3.26) 可 以 看 出 , 每 一 个 序列 dure) 都 荐 一 个 品 声 中 的 指数 序列 ， 其 
形式 为 ; 
ME = SO Eol) + ete) (7.3.27) 
i=1 
Hep, {e7 (0) 为 et) 经 滤波 和 抽取 后 的 序列 , 且 
p, = (pi) 


和 
a(t) = mtp Kp) (7.3.28) 


这 里 K(z) 是 FIR 小 波 器 多 项 式 : 


K(2) = ko + kya + kg Pt thy (7.3.29) 
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FIR 滤波 在 新 模型 中 的 影响 是 使 原来 的 白 噪 声 变 成 有 色 的 。 道 常 , 选择 K 为 带 通 滤 
波 器 。 通过 仔细 选择 FIR 滤波 器 ， 可 以 明显 地 减少 某 些 感 兴趣 的 ; 全 
数 。 在 这 种 情况 下 , 就 可 以 假定 滤波 后 的 数据 中 的 “有 效 模 态 ”个 数 为 n, EDT ne 
是 , 有 下 列 模型 : 

q(t) = Ser Gp) + M(t) (7.3.30) 


中 ,ef 人 = ng POON + ef") 包含 了 噪声 c(t) 和 n 一 mw 个 残余 模 态 信号 。 
因此 , 噪声 ert) 是 高 斯 有 色 噪 声 , 具有 非 零 的 均值 。 非 零 均 值 的 影响 是 在 参数 估计 值 中 
入 某 些 偏差 。 

交叉 数据 组 可 以 丢弃 不 用 ， 以 便 减 少 参数 估计 的 计算 量 ,， 即 式 (7.3.26) 中 的 可 以 
AR 1. M Nyquist 理论 的 观点 看 , 如 果 理 想 的 低 道 滤波 器 可 以 实现 , 则 丢弃 交 义 数据 不 
会 招致 性 能 的 任何 损失 。 然而 , 对 于 实际 应 用 而 言 , 由 于 非 理 想 滤波 器 的 缘故 , 将 会 损失 
某 些 性 能 。 原则 上 , 可 以 道 过 保留 所 有 的 交叉 数据 补偿 韭 理想 滤波 的 影响 。 不 过 , 这 种 性 
能 补偿 并 不 明显 。 现 在 考 卡 只 保留 一 组 交叉 数据 ,因为 只 保留 一 组 而 丢弃 所 有 其 他 的 交 
又 数据 组 很 容易 并 入 到 和 矩阵 K Po 
现在 只 有 N 个 被 抽取 过 的 多 快 拍 序列 , 因此 , TLS-Prony 算法 可 以 应 用 于 式 (7.3.27) 


au 


以 得 到 估计 值 {P 和 {2(9}。 于 是 ,数据 抽取 后 的 多 快 拍 后 向 预测 方程 由 下 式 给 出 : 
Bo Y”°] 四 ~0 (7.3.31) 
其 中 , b = [61, 的 ,… ,50%]”， 目 
yo(1) yalt) Yaa) oo Pal) 
wa) Vall) ¥sa(1) ot Virvall) 
Ws carl) Uy tal ay nal) thy ald 
yo(2) val?) yal2) “Val2) 
yq(2) Wal2) Ysa(2) on z+yal2) 
[yo Y”) = : : , : 
Ymy -er+al2) ont, Lal?) Yng- al?) aa Yms -a l2) 
WN) vaN) VaalN) TD) 
yal) WalN) ya(N) aa Meena) 
[un-an whys zal) Ws (ea(N) a int, —d AN) J 
(7.3.32) 


其 中 , L 为 预测 阶 数 ，6' 为 多 项 式 


Biz) = 1+ diz + bet + +b =0 (7.3.33) 
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的 系数 向 量 。 注意 , L 的 选择 影响 系数 b 的 精度 。 
TLS-Prony 方法 考虑 YO Aly” 两 者 的 噪声 挑动 的 影响 而 且 TLS 解 试图 使 这 些 扰 
动 对 预测 系数 向 重 5 的 影响 极 小 化 。 这 一 极 小 化 古道 过 增 广 矩 阵 y, YO) 的 奇异 值 分 
解 ， 并 将 除 前 面 个 主要 奇异 值 以 外 的 其 他 奇异 值 截 除 ， 以 得 到 估计 值 0, 2]. 
将 fg, | 代入 式 (7.3.29) 给 出 修正 的 预测 方程 


YG wy g" (7.3.34) 


由 此 得 到 线性 顶 测 系数 向 量 的 估计 : 
È = (Py? (7.3.35) 


最 后 , 抽取 的 极点 的 估计 为 
B= BZ) 的 第 i 个 零点 ， 1=1,2,---,L (7.3.36) 


一 般 说 来， 由 p, 不 能 恢复 Po 办 为 映射 p = pf 不 是 一 对 一 的 。 然 而 , 如 果 对 p 的 
区 域 作 适当 的 限制 ， 则 映射 可 以 做 到 一 对 一 。 例 如 ， AAG Ze, < (-7 7) Mp, 
可 以 由 以 唯一 恢复 : 

B= E (7.3.37) 

为 了 在 没有 任何 先 验 信息 的 情况 下 满足 区 域 限制 要 求 , 可 选择 一 合适 的 FIR 滤波 器 。 

一 旦 极点 求 出 后 , 对 应 的 振幅 系数 可 以 利用 式 (7.3.30) 和 式 (7.3.28), 根据 抽取 的 极 
点 估计 值 和 抽取 的 数据 进行 估计 。 注 意 , 根据 抽取 的 极点 估计 值 和 抽取 的 数据 进行 振幅 佑 
计 在 计算 上 更 有 效 ， 内 为 这 对 应 更 短 的 数据 长 度 和 更 少 的 极点 数 。 具体 地 说 , 式 (7.3.30) 
SET PERR RENREN E: 


Ak, =Y}? (7.3.38) 
式 中 
1 1 1 
FA oo BL 
å, =| 部 训 .… BB (7.3.39) 
yrs) pee aa sed 
K, = diag (P K (81), PK (Pa), BLK (61) (7.3.40) 
和 
aa) a) --- aa 
| 22(2) BN 
x= at ) at ) 2 (7.3.41) 
%,(1) €,(2) +- ZL(N) 


Y? = [y(1), 92), YN) (7.3.42) 
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TE. 振幅 系数 可 以 由 式 (7.3.38) 的 最 小 二 乘 解 求 出 , 即 
$ = K'ATA Afr? (7.3.43) 

实际 中 , TRAE, MARERA E ETE {例如 QR 分 解 ) 求解 式 (7.3.38) 

由 于 具有 PO w 个 奇异 值 不 为 零 , 所 以 至 多 可 以 有 n 个 极点 估计 与 真实 的 数据 
模 态 相 对 应 。 也 就 是 说 ,只 有 n 个 只 有 最 人 能 量 的 极点 被 保留 21., TH, 可 以 再 次 估 
计 这 nl 个 极点 ， 方 法 是 : MEERA, 中 除 n 个 “高 能 量 极点 ” 列 以 外 的 所 有 列 ， 然 后 
EKHARD ORE X. 

有 必要 指出 , A (7.3.15) MPRE A OS ARHAR tT UH ARMA 建 模 的 
总 体 最 小 二 乘 算法 进行 估计 。 可 以 证 明 520, 式 (7.3.15) 对 应 于 下 列 特殊 的 ARMA(M, M) 
模型 (AR 和 MA 参数 相 问 ): 


Sayin —i)= Ye wn — i) (7.3.44) 


i=0 


其 中 ,ai = 1, MH AR 参数 qi,i = 1,2,… M 的 特征 多 项 式 


A(2) = zM tazM lt + aw s+am =0 (7.3.45) 


的 M 个 复 根 2, = dh = 1,2,… ,1M 给 出 复 正 弦 波 频率 。 虽 然 AR 和 MA 参数 完全 
相同 ,但 是 ARMA 建 模 方 法 仍然 适 几 于 模型 (7.3.44)， 参 见 文献 [520, p.119]。 内 此 , 可 
以 用 SVD-TLS 算法 求解 式 (7.3.44) 得 到 AR 系数 a,。 这 就 是 谐 波 恢复 的 ARMA 建 模 
的 SVD-TLS 算法 。 这 种 方法 处 理 的 相关 算 阵 比 TLS-Prony 方法 处 理 的 数据 矩阵 维 数 小 
得 多 。 


7.3.3 FIR 自 适 应 滤波 的 总 体 最 小 二 乘 算 法 


考虑 输入 向 量 噪声 在 白 适应 滤波 应 几 ( 冲 激 响 应 估计 ) 中 发 生 的 可 能 性 。 在 冲 激 响 
应 估计 中 ， 自 适应 滤波 器 试图 根据 系统 的 输入 与 输出 估计 未 知 系统 的 冲 激 响 应 。 冲 激 响 
应 估计 的 应 用 包括 : 根据 日 标 对 冲 激 或 斜坡 形状 的 电磁 脉冲 的 响应 确定 雷达 目标 的 特征 
fsaejl349 ,估计 地 光 的 地 质 结构 的 芭 射 地 震 仪 ?el309, 通信 信道 的 神 激 响应 估计 B74, Be 
字 波形 编码 器 的 特征 描述 B79 等 。 考 虑 图 7.3.2 所 示 的 冲 激 响应 估计 结构 。 未 知 的 系统 
冲 激 响 应 假定 为 M x 1 向 量 


= (05, bi o, bira]? (7.3.46) 
EURER NR. “AE” EF h 

a(t) = $I O"no{t) (7.3.47) 
给 出 。 其 中 , 观测 噪声 no 人 为 零 均 值 、 方 差 为 02 的 白 噪 卢 过 程 , 与 输入 向 其 独立 。 输 入 


向 量 
= {z(t), r(t- 1), zt 一 THT7 (7.3.48) 
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自 适 应 滤波 器 的 输入 通常 也 取 办 。 由 于 未 知 系统 的 输入 必须 与 期 望 信 号 一 起 采样 和 量 
化 ,因此 会 产生 宽带 的 量化 吧 声 , 它 将 污染 自 适 应 滤波 器 输入 。 这 表明 , 在 自 适应 滤波 应 
HP, 输入 向 量 道 常 存在 噪声 , 如 图 7.3.2 所 示 。 


a(t) 


图 7.3.2 输入 向 量 存在 噪声 nilt) 的 冲 激 响 应 估计 结构 
对 于 图 7.3.2,， 递 推 时 间 t 的 法 方程 为 
RO. =P (7.3.49) 
式 中 z 
R= Dual ， R= Es; (7.3.50) 
这 里 , y 表示 白 适应 滤波 器 j iM Sue ae 
y = [el + (9), 20 — 1) +4 (GF- D+ eG - M41) +nG-M+)]" (7.3.51) 


而 0j) 是 在 时 间 j 的 期 望 响 应 ， 为 


dj) = OF O° ng (3) (7.3.52) 

未 知 FIR 系统 冲 激 响应 由 式 (7.3.46) 表示 ,时间 7 的 系统 (无 噪 卢 ) 输入 向 量 则 为 
$; = (29), 29 D7G ~ M+ DT (7.3.53) 

假定 z 足够 大 ,使 得 式 (7.3.50) 的 确定 量 可 以 分 别 用 期 望 值 代替 ， 
Efu} = Ry + ofl ae (7.3.54) 
E{d()y,} = p= Ryo" (7.3.55) 
式 中 

Ry 一 卫 { 四 人 (7.3.58) 


于 是 , 法 方程 (7.3.49) 可 以 写作 


(Ry + o?Tu)0, = RyO* (7.3.57) 
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式 (7.3.57) 是 令 人 感 兴 趣 的。 如 果 没 有 输入 向 量 噪声 , 即 o? = 0, 则 式 (7.3.57) 的 最 
小 二 乘 解 为 0, = 0. 即 它 是 无 偏 的 。 一 般 情况 上 , 式 (7.3.57) 的 最 小 二 乘 解 由 下 式 给 出 : 
= (Rg + oP Ty) 1 RO" (7.3.58) 
0, 可 以 用 递 推 最 小 二 乘 算法 白 适应 估计 。 假定 输入 数据 z(t) 是 一 个 阶 数 至 少 为 M 的 持 
续 激励 随机 过 程 , 则 自 相关 算 阵 R, 是 正定 的 。 因此 , 对 Ry + oF Ty, 应 用 短 阵 求 逆 引 理 ， 
则 有 


(Rg +072) = Ry! — Rg (Rl + or Ty) Ry! (7.3.59) 
将 式 (7.3.59) (RAZ (7.3.58) 得 到 
6, = 0" + Ry (Rg! +0’ Iu) 10" (7.3.60) 
显然 , 这 种 递 推 最 小 一 乘 的 偏差 项 为 
xing = Rg (Ra! +07 Ey)" 10" (7.3.61) 


令 互 为 ~ 对 称 第 阵 , HO, = [1, -9T]7, 其 中 


日 = [bos bi sbaralT (7.3.62) 
考虑 人 下面 的 极 小 化 问题 : 
ming iD ee (7.3.63) 


容易 验证 , 若 令 (3 上 D) x (M+) 短 阵 B= fa G) MMEA a 
#4 D= [5G], 则 极 小 化 问题 为 总 体 最 小 一 科 问题 
令 


. T- 
D= H 9| u (7.3.64) 
1M 
其 中 a 
p= a (7.3.65) 


Davila 证 明了 下 述 定理 (2091, 

定理 7.3.2 ” 当 滤 波 器 输入 含有 和 零 均值 的 加 性 白 噪声 时 ， 由 式 (7.3.63)~ 式 (7.3.65) 
给 出 的 总 体 最 小 二 乘 解 OF 将 给 出 渐 近 无 偏 和 一 致 的 FIR 参数 估计 ， 并 且 与 总 体 最 小 二 
乘 估计 对 应 的 “总 体 ” 均 方 误 差 为 Nian 人 = of。 

对 上 述 总 体 最 小 - : 乘 具体 算法 感 兴趣 的 读者 可 进一步 参阅 文献 [109]。 

除了 上 述 应 用 外 , 总 体 最 小 二 乘 已 在 下 列 领域 获得 了 广泛 的 应 用 : 信号 处 理 248l,E24 ， 
生物 医学 信号 处 理 B61， 图 像 处 理 34， 变量 误差 建 模 (401 L636), 频 域 系统 辨识 BO, 
线性 系统 的 子 空间 辨识 M4, 天 文学 BS, fa 4511529), Bi AGE I 等 。 
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74 ”约束 总 体 最 小 二 乘 


由 式 (7.2.36), RARER As = b 的 总 体 最 小 二 乘 解 可 以 表示 成 Prrs = (ANA - 
bmd) ANd, EH, 02, 是 扰动 矩阵 D = [-e, EE] 各 个 噪声 分 生 共 同 的 方差 。 然 而 , 在 
一 些 重要 的 情况 下 ，D 的 噪 志 分量 可 能 是 统计 相关 的 ; 或 者 虽然 统计 不 相关 ， 但 却 有 具有 
不 同 的 方差。 此 时 , 总 体 最 小 一 乘 不 再 给 出 最 优 的 解 。 例如， 当 我 们 试图 根据 输入 和 输出 
估计 系统 的 冲 激 响 应 时 ，D 的 噪声 分 量 统 计 相 关 的 情况 便 会 发 生 。 假定 y(t) 是 系统 的 输 


E u(t) 是 其 输入 , 则 冲 激 响 应 可 以 写成 近似 方程 中 


ylt — m) ut~m) e ult- n-m) R(0) 
y(t+ 1—m) uttl-m) at 二 1 一 于 一 到 )| |R() 
: ~ . : : (7.41) 
vl) we) lt) Late) 
或 用 矩阵 符号 写作 
y=Uh (7.4.2) 
RF, U RATE RARE Toeplitz 和 矩阵， 但 是 这 种 信息 并 没有 被 总 体 最 小 二 乘 解 所 


利用 。 
再 看 数据 矩阵 的 噪声 分 量 线 性 相关 的 另外 一 个 重要 的 例子 : 根据 被 白 噪声 污染 的 测 


量 数据 估计 正弦 波 频 率 的 前 向 线性 预测 OME), 具体 地 , 假定 测量 数据 由 


L 
tn = > Sele tug, nsh, N (7.4.3) 
k=l 
给 出 , RP, (v,} 是 零 均 值 的 独立 同 分 布 噪声 。 前 向 线性 预测 方程 为 
c | z] = (7.4.4) 
其 中 
Y Ya Yass 
Ye Ys YL+2 
C= | aren BY e= enwa tal? 
Yaar 这 Yi 
Uh Weer E 
这 里 , y By, MRR. 
观察 知 , 矩阵 C 上 半 部 分 具有 Hankel 结构 ， 下 半 部 分 具有 Toeplitz 结构 。 这 种 结 


构 特 征 也 没有 被 总 体 最 小 二 乘 方法 所 和 用。 为 了 得 到 = 更 加 精确 的 估计 ，Abatzoglou 等 
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人 提出 了 一 种 推广 的 总 体 最 小 二 乘 ， 并 称 之 为 约束 总 体 最 小 一 乘 (constrained total least 
squares, CTLS) 方法 UMB, 
741 约束 总 体 最 小 二 乘 方 法 
令 
AC = [Ac], Aco, --- , Aer +11] 

式 中 , 向 其 Ac, e OMIM 是 矩阵 AC 的 第 i 列 。 设 {vva ,vx} 是 独立 随机 变量 的 
最 小 代数 集合 ， 并 满足 

Aq = Fio， i=hŁ2 =, L+1 (7.45) 
其 中 , v= fw,v2,… ug]? Fi 是 M «KOM. 如 果 o 不 是 白色 的 随机 向 其 , 则 可 以 应 
用 合适 的 变换 使 之 白 ( 色 ) 化 . 假定 R = E{vv"} = PP" 是 矩阵 R 的 Cholesky 分 解 ， 
于 是 可 以 利用 


u= Pw (7.4.6) 
AS o 变换 成 白 噪 声 向 量 w。 这样 一 来 , Ac; 就 可 以 表示 为 
Aci= FPu=Gu,  §=1,2,---,L41 (74.7) 
式 中 ，G = P,P e CMxK, 
约束 总 体 最 小 一 乘 问题 可 以 叙述 为 : 确定 一 个 解 向 基 x 和 最 小 扰动 w, 使 得 


(C+ Gi Gu, era) [3 =0 (7.4.8) 


数学 上 , 约 吕 总 体 最 小 二 乘 问题 可 以 写作 
在 (C+IGiw Gaw Graul) |F] 0 约束 条 件 F， miaa? (749) 


这 是 一 个 在 二 次 型 约 呆 方程 约束 下 的 二 次 型 孜 数 的 极 小 化 问题 。 它 可 能 没有 闭 式 解 , 但 
是 在 适当 的 条 件 下 , 极 小 化 问题 可 以 变换 成 一 个 对 极 小 化 变量 x 的 非 约束 极 小 化 问题 。 
为 了 说 明 这 一 点 , 假定 C HREETE. WN, ATE Co z] = 0。 这 就 使 得 式 
(7.4.8) 总 有 一 个 解 。 注意 到 随机 向 大 4 的 维 数 K 必然 小 于 AC 的 维 数 M(L+1), mH 
K BK, 则 AC 的 分 量 满足 的 代数 关系 的 数 其 就 越 少 。 上 面 的 定理 B 具体 描述 了 约束 
极 小 化 问题 如 何 变换 为 非 约 束 极 小 化 问题 。 
定理 7.4.1 令 


L 
W, = YG Grr (7.4.10) 


i=l 


DA He ER A RRA EREE F A RAMEE ee 


min [2] wwe Ja] (7.4.11) 
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式 中 , Wt = (WEW, ow! 是 W 的 伪 逆 矩阵 。 
证 明 注意 到 


L L 
[Giu Gru] [3] = Gu Gru = (Zaa. 一 ce] u (7.412) 
i=l i=. 


ERAR (7.4.10) 之 后 , 式 (7.412) 可 以 重新 写作 

C [a +W,u=0 (7.4.43) 
现在 ,约束 总 体 最 小 一 乘 解 由 满足 式 (7.4.13) IENE u 的 范 数 平方 的 极 小 化 

min [ful]? 
给 出 。 对 于 满足 式 (7.4.13) 的 任何 u 和 z, 易 知 
el > min al? = [2] “earbawric [z] 
因为 在 式 (7419) 的 约 来 条 件 下 ,min Jal? KRH u = -Wto |2], Tæ wan 
论 : yA A) SER 
ra= |3] tawy"wic [| 


相对 于 z 的 极 小 化 给 出 。 年 
值得 指出 的 是 , 如 果 M < KK， 并且 Ws 满 秩 , 则 F(z) 的 表达 式 可 以 进一步 简化 。 
1 K>M 时 
由 于 
wi=wiw,w)" 
所 以 


Fla) = [a] www, www o [al 


= [a] "wwo 加 
2 M=K l 
E Wi = Wgt, & 

Fle) = [可 onwsy woe [| 


如 果 M >K REW, KR. BANT RRA EAR DR. RR 
行 式 (7.4.11) 的 极 小 化 。 有 关 这 种 情况 上 的 极 小 化 算法 可 参见 文献 [3]. TEAK 
多 数 应 用 中 都 能 够 满足 的 情况 , U M < KA W, 满 秩 的 情况 。 
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利用 解析 方法 计算 F(a) 的 极 小 化 十 相当 困难 的 如。 上 面 考 虑 计算 约 来 总 体 最 小 -- 
乘 解 的 Newton Wik. IERE F(z) 可 以 看 作 是 2L 个 实 变 量 (H zi, ra，…… ,zr 的 实 部 和 虐 
部 ) ASAT. ATOR gors: YAE F(z) 相对 于 这 Ob 个 变量 极 小 化 。 在 必须 计算 
F(a) 的 一 阶 和 一 阶 偏 导 数 的 情况 卜 ， 为 了 获得 Fa) 极 小 化 的 递 推 方法 , 把 F(z) 看 作 
2L 个 复 变量 21,… a, 0f,-- 0), 的 函数 将 更 加 方便 ， 其 中 , of 是 xz; ORI. CE 
HAAR F(z) 的 一 阶 和 二 阶 偏 导数 的 时 候 ,， 可 以 将 2, 和 z? 视 为 独立 的 变量 。 

对 丁 任意 一 个 函数 的 极 小 化 ， 最速 下 降 法 可 能 收敛 不 是 很 快 ， 因 为 在 选择 最 优 步 长 
时 存在 不 确定 性 。 如 果 被 极 小 化 的 遂 数 臣 二 次 可 微分 的 ， 则 Newton 方法 是 二 次 或 更 快 
速 收敛 的 Le, 文献 [3] 提出 了 一 种 复数 形式 的 Newton 方法 ， 它 利用 函数 F 的 一 阶 和 
二 阶 偏 导数 递 推 确定 F 的 极 小 化 变 基 2. Newton HEA Ha K: 


2 =m@)+(A°B 1A- B*) l(a" - A*B-!a) (7.4.14) 
式 中 
oF [8F oF Orit 
a= a [eae Fe = F SR 
2 T 
ALIZE, (BEY | FRESIA Hessian 矩阵 (7.4.15) 
2 | Oa? da? 
2 
= OF = PAEIT Hessian 矩阵 
Ox Oa 
二 阶 偏 导数 定义 为 
er | OF _[1(_aF ~ ip) (2 -2 )] (7.4.16) 
da? T |82,,0%, |g Bo a” 
Or Pr 1f OF |. OF OF .OF 
= =|= 一 AAT 
On" dx CN [: (en ign) (dees men), (41) 
令 
w= (We We) C [a (7.4.18) 
B= Olina. — [CW !u, 4G, weal (7.4.19) 
G = |(GÏu, ,GE (7.4.20) 


EP, Im 是 一 个 (Lt) x LAE, 其 对 角 线 元 素 为 1。 TE, a, A Al BLAS 
别 计算 如 下 : 


a = (uiB)T (7.4.21) 
A=—Cwi ww) - (GC WHIW, Ww!) B)" (7.4.22) 
B=([B" (ww) By) + WEIW Ww, -IG (7.4.23) 


应 当 指出 的 是 ,在 无 噪声 情况 下 ， 上 述 Newton 方法 的 收敛 区 的 大 小 和 形状 的 精确 
估计 仍然 是 个 未 解决 的 问题 。 
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7.4.2 ”约束 总 体 最 小 二 乘 与 极 大 似 然 的 关系 
FF 面 证 明 , 约 吕 总 体 最 小 二 乘 解 可 以 根据 约 来 的 状态 空间 极 大 似 然 估计 求 得 . 令 


C = [etaa， ar) 
并 利用 
A,=a;,+Gu, i=1,2, L (7.4.24) 
ENRETE, Ån Ân FÆ 根据 (C+ 1G yu, Gyi,- Gryt) la =0 解 向 
a 满足 方程 
Am 一 日 = GrHit (7.4.25) 
其 中 
Â= [Â Ân Às] 
现在 , PRAA D RET RR 


min Ie? (7.4.26) 
式 中 
Ay -a Gyu 
= : =Gu (7.4.27) 
A, — a, Gru 
Av-b Ginu 
BEET LARG u 为 ` 
A -a 
wat]: (7.4.28) 
rz 一 ar 
mp ~b 
其 中 , G+ = VEU" 是 G 的 伪 首 矩阵。 
令 
U =|U,, U3] (7.4.29) 
其 中 , Ui 是 (L+1)M x K 矩阵 。 于 是 ,状态 向 量 A, Ân A, Ao 满足 约束 条 件 
Â, — ay 
ug © |=o (7.4.30) 
A, ~ar 
Ac—b 
最 后 , 约束 总 体 最 小 二 乘 解 可 以 叙述 为 : 在 式 (7.4.30) 所 示 约 束 条 件 下 ， 
‘Ay -a 1]? 
miner}: (7.4.81) 
A,-a, 


Az—b 
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下 面 再 考查 状态 空间 极 大 似 然 参数 估计 问题 。 考 虑 观测 向 量 


a, aig 

ēz=|: |=] :| +em (7.4.32) 
arz aro 
b AoT, 


其 中 , v k K SEAT HH. BH ao azo,… ,azo 是 M ERMAR @ 是 上 维 术 
知 向 量 , 而 矩阵 Ay = (ayo, azo …… ,aroj。 


Ea 0 
z=Viv， X= 0 OE - 辣 ， Š = diag(01,… ,ok) 
0 0 
用 U, U ERAR C, 则 可 以 得 到 随机 分 贡 和 确定 性 分 量 分 别 为 
aio Aig 
ute=uF] : | 4 ee, utesuF| : (7.4.33) 
aro aro 
om Agr 
RE BAIR ea BAR 
al ~ io al 一 al0 
U, (STE) tU! : (7.4.34) 
ay ~aro ay — aro 
b— Agr b- Ale 
约束 条 件 为 
a) — Gin 
uBio: |=o (7.4.35) 
ar ~ Aro 
b- Aga 
注意 到 
(GGt = u(styvivestul = U(DI)T stout 
oy) 0 
一 1 
ol 0 0 
on uF 
=W, Ua] ° g | F É 
. 0 oR 0 
0 0 
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这 意味 着 
= yg (A; ~ ar 
在 U8 | :|=0 HAREE, mint] ` 
ar, — Ary Ár 一 ar 
b— Agr Az—b 


与 约束 总 体 最 小 一 乘 的 公式 完全 相同 。 换 名 话说, ARAN RR RAR 
估计 等 价 。 
7.4.3 ”约束 总 体 最 小 二 乘 解 的 扰动 分 析 


现在 推导 约束 总 体 最 小 二 乘 解 的 小 噪声 扰动 分 析 公式 。 当 K > MMW, 满 行 秩 时 ， 
SR (7.4.11) 所 示 约 来 总 体 最 小 二 乘 解 公式 为 


x H H Hy-1 g 
min (加 COW We) C [2]) 
BEHER C 的 噪声 为 零 时 存在 一 致 解 
Co [z] =0 (7.4.36) 


现在 将 一 小 噪声 项 加 到 Co 上 ,并 计算 在 约束 总 体 服 小 二 乘 解 中 引起 的 相应 扰动 。 注 意 
到 函数 


H 
r@)=(2] Aww ele] (7.437) 
是 复 变量 opta ,zz RRRA. BUL, Ple) 的 极 小 化 的 必要 条 件 是 57 
OF OF OF OF 
Bs” a a Bee] 7° (7438) 


RP, w= [zz trle 根据 第 1 RH ERAN, 有 
F(a)? ore) - 
Be, -F(x) a F(z) 


OF 
2 on, Shay 


are) | 一 D 
Gr YT = : 
OF (2) 7 
an, Do fmi 
j=l j=l 


or < 
y= fom n=L2- Me m= Eth 
= 


RP, faim = OF nj/ Bam» 
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利用 以 上 编导 数 ,可 从 式 (7.4.37) 得 到 


[cw we ewww 
[a] Cw WE) Cl (7.4.39) 
5 
v- wwe |3] (7.4.40) 
并 注意 到 


aw, 
ae Wie = [G Woy, G,Wey, ol 


Tæ 2E 可 以 写作 
z 
OF _ 
oF - 
在 式 (7.440) 中 , 观察 由 小 噪声 扰动 AC 引起 的 解 向 量 = 的 扰动 Az。 MERE Aw 
或 AC 中 的 二 阶 和 更 高 阶 项 , W 


-HG Wy, ,GWay,0+WyWCTLrr (7.4.41) 


H H 
加 ORW WE Coton + [2] aww Cylons 0 


RHE 
Li CHW WE)-! g eal +AC z] =oT 
AEM 
D = IrCC (WWE) = Ap (W WE)" 


则 有 


DC, o] + DAC [z] = AH(W W8) AAs + DAC z] =o 


从 而 得 到 
Am = -[L4R(W WB) A] DAC iz] (7.4.42) 


Aa 的 内 方差 矩阵 为 
E{AcAe"} =[AF(W, WH)-1 A -1DE fac [a] e ac} x 
D'LAS (W, WE) Ad) (1.4.43) 
进而 , 由 式 (7.4.10) 和 式 (7.4.12) 得 到 


AC [z] =W,u 
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故 有 
a . 
E fac [x] [x] ach) = E{W uu" WE} = W,E{uu"} WE 
=W, IW” =o W, WH 
BERRAR {7.4.43), 最 后 得 到 
BE{AzAzH} = oJ A8 (W, wh) Ay? (7.4.44) 


RARR TEAR EOD FT 2 A SST FA. BAI 
说 , 式 (7.4.44) 给 出 了 当 SNR 一 oo HERA) eh FA. 
7.4.4 应 用 

Abatzoglou 等 人 加 以 谐 波 信号 的 超 分 辨 恢复 为 例 , 介绍 了 约束 总 体 最 小 二 乘 的 应 
We REH LARIE ETRAS N 个 线性 均匀 阵列 上 。 阵 列 信 号 满足 下面 的 前 向 
线性 预测 方程 551, 


C, [a =0, k=1,2-,M (7.4.45) 
其 中 
ye{l) Vi(2) oa (L + 1) 
y,(2) (3) ~ yg (E+ 2) 
Oro [HNTD aN ED md | as 
其 过 十 人 ug (LZ) so yh) 
OY) N-D = wN- D) 


这 里 ,gy(i) BOR k DERE i 时刻 的 输出 观测 值 。 BBE Cx 称 为 第 e 个 快 拍 的 数据 矩 
阵 。 将 所 有 的 数据 矩阵 合成 一 个 数据 矩阵 C, 即 

Cy 
C= (7.4.47) 


Cu, 
于 是 ， 超 分 辨 谐 波 恢复 问题 归结 为 利用 约束 总 体 最 小 二 乘 求解 矩阵 方程 ， E 
c [al =0 


而 Ws 的 估计 结果 由 下 式 给 出 : 
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中 
[z] z z, 一 1 0 
Wi=| os, ne 
Lo Zy fg s+ By ~i 
f-l zp e ty my 0 
W,= re non, 
Lo =l zr o Ta Tı 
另外 
x H od 
ra= [4%] ctov.wite[*] 
H M 
= z] D CRW WH) Cm [a] (7.4.48) 
为 了 估计 相关 的 波 数 6， 约束 总 体 最 小 二 乘 方法 分 为 二 步 : 
(1) 利用 7.4.1 小 节 介绍 的 Newton 方法 求解 式 (7.4.48), 得 到 z; 
(2) 计算 线性 预测 系数 多 项 式 
L 
Dapa" -2*=0 (7.4.49) 
k=1 
(3) 估计 对 应 的 角度 Qy: 
oj =arg(z;), i=L2,..,L (7.4.50) 
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像 恢复 


退化 图 像 的 恢复 是 一 个 重要 的 问题 , 因为 它 能 够 从 观测 到 的 退化 图 像 数 据 恢复 丢失 


的 信息 。 
优 解 。 


像 恢复 的 日 的 十 在 已 知 纪录 数据 和 某 些 先 验 知识 的 情况 下 , 求 原始 图 像 的 最 


今 N x1 点 扩展 消 数 (point-spread function, PSF) 表示 为 


h=h+Ah 


(7.4.51) 


式 中 , A, Ah E RN 分 别 是 点 扩展 函数 的 已 知 部 分 和 (未 知 的 ) 误差 部 分 。 误差 分量 AR = 
[AR(0), Ah(1),… , AR(N — 2" 为 独立 同 分 布 噪声 , 均值 为 0, 方差 为 cs。 


观测 到 的 退化 


式 中 , 了 和 Age RN 分 别 表示 原始 
As(D)…… Ag(N 一 了) 也 是 独立 同 
3. 矩阵 H E RYN 表示 点 扩展 矩 


像 用 向 量 9 表示 , 成像 方程 可 


g=Hf+Ag 


H=H+AH 


和 矩阵 - 向 量 形式 表示 为 
(7.4.52) 


图 像 和 观测 图 像 的 加 性 噪声 。 加 性 噪声 Ag = [Ag(0), 
分 布 噪 声 , 并 与 点 扩展 函数 的 误差 分 量 Ah 统计 不 相 
RE, RT A 和 误差 部 分 组 成 , 即 


(7.4.53) 
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式 (7.4.52) 的 总 体 最 小 二 乘 解 为 


fog gyw Jz a- iaf (7.4.54) 


AP, 8 服从 约 来 条 件 


ĝ € rank( f) (7.4.55) 
通过 定义 术 知 的 归 一 化 噪声 向 量 ue RN (由 Ah All Ag 组 成 ), 即 
ARO)  AA(N=1) Ag) Ar- a (7.4.56) 
Oh , , Th > og 7 ; Ty _ 

Mesarovic 等 人 10) 提出 了 基于 约 来 总 体 最 小 二 乘 的 图 像 焦 复 算法 

f = argmjn {413} (7.4.57) 
约束 条 件 为 

Hf-g+lu=0 (7.4.58) 


RP, 工 是 一 个 N x 2N 矩阵 , 定义 为 


orf) fN- … of) | oo 0 0 
aD aO oat d doa o aas 
o,f(N-1) o f(N-2) +- of) : 0 0 + mm 


在 给 定 被 纪录 的 数据 向 量 g 和 点 扩展 矩阵 已 知 部 分 A 的 情况 下 , St (7.4.52) 的 原 
始 图 像 F 的 求解 是 -一 个 典型 的 逆 问 题 。 内 此 ， 图 像 恢复 问题 的 求解 在 数学 上 对 应 为 式 
(7.4.52) 的 道 变换 的 存在 性 和 唯一 性 。 若 逆 变 换 不 存在 , 则 称 图 像 焦 复 这 一 逆 问 题 为 奇异 
的 。 另 -方面 , 逆 变 换 员 然 存在 , 但 是 其 解 有 可 能 不 唯一 ,而 是 有 一 组 解 。 对 一 个 实际 的 
物理 问题 而 言 , 这 种 非 唯一 解 是 不 可 接受 的 。 此 时 , 称 图 像 恢复 为 病态 的 逆 问 题 ,。 这 意味 
着 , 观测 数据 向 量 9 中 的 小 扰动 有 可 能 导致 恢复 图 像 g 中 的 大 扰动 Na, 

克服 图 像 恢复 病态 问题 的 有 效 方法 之 一 是 使 用 正则 化 (regularization) 方法 (49.1141, 
得 到 正则 化 约束 总 体 最 小 二 乘 算 法 HAN, 

正则 化 约 宋 总 体 最 小 二 乘 图 像 恢复 算法 的 基本 思想 是 引入 正则 化 算 子 @ 和 正则 化 
参数 入 > 0, 将 最 小 化 的 月 标 菌 数 替 换 为 两 个 互补 昂 数 之 和 ,， BIR (7.4.57) 变 成 


$ = argin {al +A larie} (7.4.60) 


服从 约束 条 件 式 (7.4.58)。 这 种 正则 化 约 来 总 体 最 小 二 乘 图 像 饮 复 算法 是 Mesarovic 等 人 
提出 的 外。 

正则 化 参数 的 选择 需要 兼顾 观测 数据 的 保 真 度 和 解 的 平滑 性 。 为 了 进一步 改善 正则 
化 约 来 总 体 最 小 二 乘 图 像 恢复 算法 的 性 能 , Chen 等 人 gd 提出 了 自 适应 选择 正则 化 参数 
和 的 方法 ， 并 称 之 为 白 适 应 正则 化 约束 总 体 最 小 -- 乘 图 像 恢复 算法 。 这 一 算法 的 解 为 


了 = arg min {lla + ACF) lari} (74,61) 
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服从 约束 条 件 式 (7.4.58). 
以 上 介绍 了 约 来 总 体 最 小 二 乘 在 图 像 恢 复 中 的 应 用 原理 。 限 于 篇 幅 ， 对 以 上 两 种 算 
法 的 实现 ， 不 再 竟 述 ， 感 兴趣 的 读者 可 分 别 参考 文献 [310] 和 文献 [B4}。 

综 上 所 述 , 约束 总 体 最 小 二 乘 中 的 扰动 矩阵 A4 WOU AA = [Ga Gau ,Gd， 
而 扰动 向 量 Ab RA Ab = Gn+it。 关 此 ,约束 总 体 最 小 二 乘 方法 道 过 选择 适当 的 矩 
阵 Gi(i = 1,2,---,m +1), BR HERE [4, 的 结构 得 到 保持 。 


7.5 “结构 总 体 最 小 二 乘 


一 个 具有 特殊 结构 的 矩阵 称 为 结构 化 矩阵 (structured matrix). PS RAI LEE 
在 信号 处 理 、 系 统 辨识 和 控制 理论 的 许多 应 用 中 经 常 通 到 。 

令 Bb) = By +o, B, + 十 如 € RP, 其 中 , p>q, ib, 是 参数 向 量 be R” 
的 第 i 个 分 量 , B, (i =1,2,---,m) ABER CAME. 称 B(b) 是 参数 向 量 b 的 分 量 b 
的 仿 射 矩阵 函数 。 令 ac Rm 为 数据 向 量 , tp 是 一 给 定 的 权 系数 向 量 。 考 虑 上 面 的 问题 : 
在 仿 射 集合 BO) 中 寻求 一 全 秩 亏 缺 的 矩阵 ， 使 得 参数 b 的 一 给 定 二 次 型 函数 la, b, wl 
极 小 化 。 这 就 是 所 谓 的 结构 总 体 最 小 二 乘 (Structured Total Least Squares, STLS) 问题 。 
TEH De Moor! 7.014 提出 来 的 。 从 逼近 的 观点 看 ,STLS 问题 就 是 一 个 用 类 似 结构 的 
秩 气 缺 矩 阵 去 逼近 仿 射 结构 化 矩阵 ( 即 参数 仿 射 的 矩阵 )， 并 使 Ly 误差 准则 极 小 化 的 问 
题 。 因此 , STLS 问题 也 可 以 看 作 是 仿 射 结构 化 矩阵 的 总 体 最 小 二 乘 问题 。 


751 ”结构 总 体 最 小 二 乘 解 
下 面 详细 考虑 STLS 问题 的 数学 描述 。 暂时 先 不 考虑 权 系 数 , 取 二 次 型 准则 


[abl = Yo —6,)? (75.1) 
i=l 


下 面 的 定理 建立 起 了 结构 总 体 最 小 二 乘 与 约束 奇异 值 分 解 之 间 的 关系 。 
定理 7.5.10I 考虑 STLS 问题 
Bib)y = 0 


(7.5.2) 
yy =1 


pe IBS ps Dew 一 W)? 服从 约束 条 件 { 
其 中 , a, = 1,2,… ,m 是 数据 向 量 a € R” 的 元 素 ; Bb) = Blt Byb, +--+ Bab» B; € 
PX = 1,2,… ,m) AME MA HM. STLS 问题 的 求解 过 程 如 下 ， 
(1) 求 对 应 于 最 小 标量 r 的 三 元 组 (aru), 其 中 , we RP, ve RY7 oR, 使 得 


Av =7D,u, u™Dyu=1 (7.5.3) 
Atu=rDyv,  v™Dyv=1 (7.5.4) 
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式 中 , A= Bo+ 》 ojBiy 而 Dy 定义 为 


i= 


YOBT OTB vyu = Dw 
i=l 
CEDIR CERTE, HERE u 的 元 素 的 二 次 型 。 类 似 地 , D, 
定义 为 m 
SBT ut B,v)v = D,u 
i=l 
它 是 一 个 对 称 的 正定 或 非 负 定 矩 阵 , 其 元 素 是 v 的 元 素 的 一 次 型 。 
(2) AL y =v/llol 构造 向 量 yo 
(3) 计算 b AK 
by, = a, — TUT Bpv, k=1,2,---,m (7.5.5) 
证 明 ”参见 文献 [114]. 
如 果 Du AD, 是 正定 或 非 负 定 的 常数 矩阵 ( 即 与 w 和 = 独立 ), 则 对 于 某 个 给 定 的 
和 矩阵 A, 定理 7.5.1 中 的 方程 会 被 矩阵 二 元 组 (A, DY”, DY?) 的 任 一 约 来 奇异 值 分 解 结 
果 (eno) 所 满足 , 其 中 ,， DY? 和 DY? 分别 是 五 。 和 Du 的 平方 根 。 Æ Dy AD, 为 
常数 矩阵 的 假设 卜 , 式 (7.5.4) 是 一 广义 特征 值 河 题 。 然 而 “ 非 线 性 ”表现 在 : BRE 
DAD, SuA v 的 元 素 是 明显 相关 的 。 正如 后 面 将 看 到 的 那样 , 这 些 矩阵 总 是 非 
负 定 的 (因此 , 对 应 于 “ 正 相关 ”的 内 积 )， 而 且 它们 的 元 素 是 u 和 v 的 分 量 的 二 次 型 。 
定理 7.5.1 给 出 的 结构 总 体 最 小 二 乘 解 具 有 以 下 性 质 I, 
(1) 正 交 性 残 差 向 量 a 一 6 SRE b EX, M @-b)ib. 
(2) GE FERE Dy 或 等 价 地 D, TW. 则 约束 总 体 最 小 二 乘 解 等 价 于 


ER o Duv = 1 KARE, 最 小 化 I(r) =7? =vTATD Aw (7.5.6) 
(3) 尺度 不 变性 日 标 函 数 I(r) 具有 尺度 不 变性 , WEH w = v/a 代替 v W 
vt ATD- Av = w A" D} Aw 


(4) 规范 性 ”车 D. 和 D, 如 定理 7.5.1 定义 , RAE u Al vH aT Du = 


vTDuvo 
(5) 非 唯一 性 向量 和 o 的 方向 是 唯一 确定 的 , 但 它们 的 范 数 或 者 长 度 是 非 唯一 
的 , 即 属于 式 (7.5.4) 中 相同 > 值 的 向 量 w 和 o 不 是 唯一 的 。 


7.5.2 TERRE 


IÈ (7.5.4) PR Riemannian AE, ATLA RR AF N, 
假定 Du 和 D, 是 与 w M o 独立 的 常数 矩阵 ， 最 小 特征 值 可 以 利用 逆 选 代 求 出 。 所 
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TAMIA, 就 是 对 丁 已 给 定 的 矩阵 Dy A D,, 执行 一 步 逆 迭代 , AIHER A 的 QR 分 
HER u Bo PRM: RAM ARE D, 和 D, FRA ARS RAR, w 
ull 表示 u 的 初始 值 , 而 ul 代表 第 PRAH u 值 , 等 等 。 EE A 的 QR 分 解 记 作 


R 
4A={Qy, KA ] 图 (7.5.7) 


Px9 px{p—a) 


THE u AN wu = Qi2+Qow, SH, ze RY, we Ri BR (7.5.4) BA 


RT 0 0 z Dwr 
QID.Q, QTD,Q, 0 四 = | 0 | (7.5.8) 
QD. AWD,Q7 -RI LY 0 
这 个 方程 组 有 (p +g) 个 方程 和 (p+ @) 个 术 知 数 。 
算法 7.5.1 (BURNIE) 14 
步骤 1 初始 化 
选择 ull 和 Ol, HUE Dwio, Duo ITU — AE, 以 使 得 


(DTD jo!) = (ul) Dyou = 1 (7.5.9) 


R2 Sk=1, 计算 

Q) zl = RD yeu 

(2) wh- = -QED Qa) "(QZ Du) 

(3) alll = Quz”! + Qw 

(4) vl = R IQT Dw-yuy 

(5) obl = v/o] 

(6) Fl = 4 (TD ul 

(7) ulk! = all yF]; y = oll lA 

(8) Dum = Dy /O"Y?; Don = Dua [CYP 

{9) ril = (ul*l)T Avl 

步骤 3 WH: 利用 式 (7.5.5) 计算 百 由 和 它 的 最 大 奇 措 值 8 由 及 最 小 咨 异 值 
ol, one Bell > em Wk ktl 并 重复 (1) ~ (9) 的 计算 。 否 则 , 停止 迭代 过 程 。 

一 步 和 迭代 相当 于 利用 QR ARRERA M AGERE D 和 D, 的 线性 方程 组 (7.5.8). 

步骤 2 中 (5) 的 归 一 化 是 必要 的 。 没有 它 , 算法 会 变 得 不 稳定 4k 一 co 时 会 有 
je 多 | 0 和 Ja! 一 eco， 而 luot 却 保持 为 一 常数 。 央 此 , 有 必要 在 中 间 步 又 道 
过 归 一 化 o 向 量 使 算法 “规范 化 ”。 这 是 完全 可 能 的 , 因为 前 一 小 节 的 性 质 (5) 可 以 保证 
这 一 点 。 

初始 猜测 的 白 然 选 择 是 矩阵 A 对 应 于 其 最 小 奇异 值 rnin 的 奇异 二 元 组 (ww, Tmin 0)。 
如 果 矩 阵 A 是 非 结构 化 的 , 该 三 元 组 将 提供 最 终 的 解 。 然 而 , 这 一 选择 并 不 能 保证 收 和 伍 
AB MA. 根据 性 质 4, 向 其 ull 和 yil 的 初始 归 一 化 古 很 自然 的 选择 。 
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应 当 指 出 ， 上 述 算法 还 远 不 是 有 效 的 。 例如 , A pE a 大 得 多 , 则 (p 一 9) x (p 一 外 
SBE (QTD, Q2) 的 求 北 需 要 很 人 的 计算 量 。 另外 ,算法 还 需要 个 精确 的 收 化 准则 。 最 
后 , 算法 的 收敛 性 也 是 一 个 有 待 证 明 的 问题 。 

7.5.3 ”约束 总 体 最 小 二 乘 与 结构 总 体 最 小 二 乘 的 等 价 性 

将 总 体 最 小 .: 乘 、 约 来 总 体 最 小 一 乘 和 结构 总 体 最 小 二 乘 进行 比较 ， 有 助 于 我 们 进 
一 步 理 解 它们 之 阅 的 联系 与 区 划 。 

AAR mxn iB Hb Ale AHA mx Alex] 向量。 求解 超 定 方程 As =b 
的 总 体 最 小 二 乘 方法 ， 其 本 质 是 求解 约束 优化 问题 


amin AA, Abie, 使 得 b+ Ab € Range(A + AA) (7.5.10) 

RAE BB Bh SRR BRETT TREE (A, b] 进行 奇异 值 分 解 。 但 是 , 奇异 值 分 

解 不 能 保持 增 广 撼 阵 [4 日 的 结构 。 因 此 , 如 果 增 | 阜 阵 为 结构 化 矩阵 (例如 它 是 Hankel 

矩阵 、Toeplitz 矩 降 或 稀 朴 矩阵 等 ), 总 体 最 小 二 乘 方法 将 得 不 到 统计 最 优 的 参数 向 量 =。 
与 总 体 最 小 一 乘 不 同 , 约束 总 体 最 小 一 乘 求解 下 列 约 束 优 化 问题 : 


minu Wu, 使 得 (4+A4)z =b + Ab (7.5.11) 
RH, W ARAME, RDE AA 约 来 为 A4 = [Gu Gru, Gnu] 而 扰动 
HE Ab 约束 为 Ab = Gupt 在 这 种 方法 里 ， 增 广 矩 阵 [A,B] 的 结构 可 以 通过 选择 适当 


AYRE Gi(i = 1,2,… n+ 1) 得 到 保持 。 
利用 Lagrange 乘 数 法 ， 可 以 将 约束 优化 问题 (7.5.11) 变 为 无 约束 优化 问题 M 


minle™, -1]ST (HW HI) S|", -1]" (7.5.12) 


RP, H, = 0 2,G;—Gnaie 
在 结构 总 体 最 小 二 乘 方法 中 ， 通 过 选择 合适 的 国定 矩阵 Sy 可 以 保持 约 来 总 体 最 小 
二 乘 问题 (7.5.12) 中 矩阵 S 的 结构 , 即 令 


k 
5 = S+) sS; (7.5.13) 
i=l 


结构 总 体 最 小 一 科 方 法 将 超 定 方程 Ar = b XH Ty = 0 的 形式 , HEIE T 加 
结构 约束 : ， 
T=50+ > #i)S; (7.5.14) 


=1 


于 二 ,求解 Ty = 0 的 结构 总 体 最 小 二 乘 方法 便 变 成 了 约 来 优化 问题 : 


k 
Bh Wii, d)[s@)—t@))?, 使 得 Ty=0, yTy=1 (7.5.15) 
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AH, t= [t(1),¢(2),--- ,tk)]"， 并 且 Wd) 是 对 角 加 权 矩 阵 W 的 对 角 元 素 。 
观察 知 , 矩阵 T 的 结构 被 强迫 与 5 的 结构 相同 。 
F 面 的 命题 表明 , 约 来 总 体 最 小 一 乘 与 结构 总 体 最 小 二 乘 两 种 方法 得 到 的 解 等 价 。 
命题 7.5.1 $ zopt 是 约 环 总 体 最 小 二 乘 方法 的 约束 优化 问题 式 (7.5.12) 的 解 向 量 ， 
H yop 是 结构 总 体 最 小 - : 乘 方法 无 归 一 化 约 宁 yTy = 1 的 约束 优化 问题 式 (7.5.15) 的 
解 向 量 。 AF Yop (n+ 1) 40, FHER 


def 1 
D, * Y gg Susu)” 


a1 


非 奇 异 , 则 可 以 求 出 一 解 向 量 Yop 满足 Topi = Yope(1 : 0) 和 gope(m +1) = 一 1, 这 表明 约 

束 总 体 最 小 二 乘 方法 与 结构 总 体 最 小 二 乘 方法 等 价 。 其 中 , yom(1 : n) 表示 由 (n+ 1) x1 

解 向 量 Yop 前 m 个 元 素 组 成 的 向 量 , 而 ye(n +1) 表示 Yop 的 第 (n+ 1) 个 元 素 。 
证 明 见 文献 [277]。 


7.5.4 SiR Hankel 矩阵 禹 近 


在 第 6 章 我 们 已 看 到 ， 对 一 个 已 知 矩 阵 4 的 最 佳 的 秩 亏 缺 最 小 二 乘 吏 近 可 以 利 
用 A 的 奇异 值 分 解 得 到 。 当 4 没有 任何 特殊 结构 时 ， 结 构 总 体 最 小 .… 乘 解 式 (7.5.4) 
中 的 矩阵 D, M 厂 。 简 化 为 单位 矩阵 ， 方 程 忆 简 化 为 Av = ru 和 ATu = mw, E 
P, vTv = 1, wTw =1, 它 恰好 就 是 矩阵 4 的 普通 奇异 值 分 解 。 
现在 假定 矩阵 A 具有 某 种 特殊 结构 ， 即 它 是 结构 化 的 。 秩 亏 缺 逼近 的 一 般 做 法 是 ， 
-将 4 的 并 向 量 分 解 截 尾 到 g 一 1 项 。 但 是 , 这 样 一 来 , 通 近 矩阵 将 不 再 具有 所 要 求 的 结 
H, 甚至 于 没有 了 任何 结构 。 丁 是 , 我 们 就 会 试图 对 得 到 的 秩 气 缺 矩阵 求 最 佳 最 小 二 乘 拟 
&, 它 有 具有 所 要 求 的 结构 。 例如， 对 于 Hankel 矩阵 ,交叉 对 角 线 上 的 所 有 元 素 用 它们 的 
平均 值 代替 后 ,就 得 到 了 一 新 的 矩阵 。 然 而 ， 这 种 新 的 矩阵 虽然 是 Hankel 结 梅 的 ,但 不 
再 是 秩 亏 缺 的 。 因 此 ， 我 们 需要 再 次 使 用 奇异 值 分 解 求 新 矩阵 的 秩 扎 缺 通 近 ,如 此 反复 。 
这 样 一 种 方法 是 Cadzow M 提出 的 , 其 具体 算法 如 下 。 
算法 7.5.2 (Cadzow 算法 ) 
HR 初始 化 
BOLA 
步骤 2 Sk=1, 并 进行 如 下 运算 : 
(1) 略 去 并 向 量 分 解 式 (6.2.13) 中 与 最 小 奇异 值 对 应 的 并 向 量 ,对 BE! 的 奇异 值 
分 解 进行 截 尾 。 令 所 得 到 的 秩 亏 缺 矩 阵 为 CH ( 它 将 没有 Hankel 结构 )。 
(2) 对 Cll 作 最 佳 最 小 二 乘 拟 合 , 得 到 BY, CATT Hankel 结构 ( 它 将 不 是 秩 气 缺 
的 )。 
(3) KARR: 令 ol 和 ol 是 BM 的 最 大 和 最 小 奇异 值 , 验证 F/A < e 是否 
满足 ? 若 满足 , 则 停止; 否则 令 k= k+l 返回 步骤 2 的 (1), 并 重复 以 上 运算 ， 
直至 收敛 。 
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下 面 , 0-75 Hankel 矩阵 逼近 问题 与 有 噪声 的 实现 问题 联系 起 来 考虑 。 
考虑 用 向 量 6 = 所 ,到 ,本 HT © RPM" 通 近 一 数据 向 量 a © Ret9-! 的 问题 ， 
我 们 的 日 标 是 使 逼近 残 差 的 平方 和 厅 条 件 地 极 小 化 ( 即 约 来 极 小 化 ):; 


Ptq-1 
min J) (a-b), HIRREN By=0, yTy=1 (7.5.16) 


w=1 


中 , BB 是 一 个 由 上 b 的 元 素 构 造 的 Hankel SE. Hankel ERE B 是 秩 亏 缺 的 ， 这 就 保 
TET b EARE (其 阶 数 最 高 为 9 一 1) 线性 系统 的 冲 激 响 应 。 因 此 ,Hankel 矩阵 的 列 数 
a (ETAR REH) 将 定义 逼近 系统 的 最 高 阶 数 为 4 一 1 阶 。 这 样 一 来 ， RAITT 
b= {bba bag 1} 数学 模型 的 系统 特征 多 项 式 就 可 以 用 


uz) = wget tte tye ty (7.5.17) 


表示 。 这 意味 着 , 序列 5b 的 2 变换 具有 形式 be) = t(z)/y(z), 其 中 , ze) 是 一 个 低 于 9 
次 的 多 项 式 。 如 果 向 量 a 本 身 是 一 个 高 维系 统 的 冲 激 响应 向 量 ， 那 么 这 就 是 一 个 模型 简 
化 问题 。 对 于 ?一 co 的 情况 , 问题 即 成 了 Ha 模型 简化 问题 D13。 


7.5.5 AURA 

现在 考虑 序列 a1, aa,… Ogg) 为 一 给 定 的 数据 序列 ( 它 不 是 冲 激 响应 ， 而 古 一 个 
被 噪声 污染 的 数据 序列 ) 的 情况 。 道 常 ， 称 这 种 情况 上 的 逼近 问题 为 有 噪声 的 实现 问题 
(noisy realization. problom). 

有 噪声 的 实现 问题 的 Lagrangean HRA 


p+g-l 
Libyi) = >> (~b)? +I" By + MyTy—1) 


i=l 


其 中 , BOY Hankel 矩阵 。 令 所 有 导数 为 零 , 即 可 得 到 方程 组 


a 一生 二 所 如 
az — bz = Ye + bath 


a3 — b3 = Lys + hope + lath 


Gptg-1 — bprg-1 = log 
以 及 
BTI= yr, yy =), By=0 


注意 , 共有 (274 29) 个 未 知 数 (向 量 b, ly 的 元 素 和 为 和 (2p + 2g) 个 方程 。 直接 运算 可 
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求 得 和 =0, 因为 By = 和 =0。 令 BB 十 个 由 的 元 素 构造 的 pxgHankel KAM, 则 


外 有 Ha 
0 Mo Yen 
0 0 + ye-2 
bo 0 0 0 | ; 
l p 0 0 o 0 alti È : 
A-B=|b p 0 0 0 0 h b||? fom 
p 0 0 4 0 bes bz palf % 0 
p 1 0 p-3 lp-2 pa bet ty 8 
Yo Yo: 0 
(7.5.18) 


这 表明 , 2% A-B EÂ Hankel 矩阵 与 一 个 Toeplitz 矩阵 (注意 西 个 矩阵 的 “循环 ” 结 
Hy) 之 乘积 。 式 (7.5.18) 的 分 解 有 -… 个 有 几 性 质 。 为 了 看 清楚 这 一 点 ， 下 面 以 p= 49 一 3 
为 例 。 用 向 量 z GRE (7.5.18), 则 有 


YW Ye Ys 
hk h u 0 07/0 y y2 

aA 

| 


vs te wml fis 
0 ys wel La 
0 0 0 yj 


=H,H;l (7.5.19) 


RP, H, MA, 是 具有 z 和 y 的 元 素 的 有 界 矩 阵 。 这 就 证 明了 ，Hankel-Toepiitz 向 量 
乘积 转换 成 了 Toeplitz-Toeplitz 向 量 乘 积 。 

利用 上 述 性 质 可 消去 矩阵 Bo 为 此 , H y 右 乘 A- BGS By = Dyl, HH, Dy 
是 一 个 pxp 的 有 界 对 称 正定 矩阵 , 形 如 Dy = ,TI。 因此 , 矩阵 Dy HRA y 的 分 
量 的 二 次 型 函数 。 类 似 地 , HIAR AT- BT 得 到 AT = Diy, 其 中 , Di 是 g xg 对称 
的 正定 Toeplitz 矩阵 ， 即 Dz = HHF. 如果 将 ! 规范 化 使 得 Vi = æ 和 [lll] =o. 则 可 
得 到 


Ay=oD,e, 2Te=1 
r (7.5.20) 


4Tz =oD,y, yty=l 
可 以 证 明 Ol, ERIR (7.5.4) 等 价 。 
下 面 考虑 加 权 的 秩 亏 缺 Hanke 有 逼近 。 加 权 误 养 准 则 定义 为 


ptq-1 


aan {BY =0 AREE, 极 小 化 Y (a; -bu 
yy=1 i=) 
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其 中 , B 是 Hankel 矩阵 , H w, € 机 为 正 的 权 系数 。 令 W = diag(wi, wyt pyg_1); 
则 结构 总 体 最 小 二 乘 解 可 以 根据 定理 7.5.1， 利 用 广义 奇异 值 分 解 问题 (7.5.4) 式 得 到 ， 
其 中 
D, = H,WH], D,=H,w AT 
正 交 性 现在 变 成 
(a —b)"Wb=0 

SCAR [59] 和 文献 [97] 讨论 了 式 (7.5.6) 的 极 小 化 河 题 , 并 采用 了 关于 v 的 线性 约 玉 ， 
如 要 求 其 分 量 之 一 等 本 1, 即 
vg = 1 
然后 , 使 用 一 种 迭代 二 次 型 极 大 似 然 (iterative quadratic maximum likelihood, IQML) 方 
法 ， 并 在 每 一 步 和 迭代 中 ， 以 式 (7.5.5) 作为 线性 约 来 条 件 ， 使 二 次 型 (7.5.6) 极 小 化 ,其 
中 , D, 假定 不 改变 。 上 面 是 文献 [59] 的 基本 算法 。 

定义 CFI e PR-Dx(e-D,ck-u e Ra 和 yk- € RR 满足 关系 式 


Ce glk 
(ck-DT yk 


二 [e] 
于 是 , 在 式 (7.5.5) 条 件 约束 下, 式 (7.5.6) 的 极 小 化 结果 是 


wll = (Cyt ek 


| = AT D;k- A 


将 o 分 块 为 


和 


7 CPN e-i] [wl 
(AT Di- Ajo" = [Gone Cia] | 1 | 


0 
= be Grr at] 


如 果 算 法 收 敏 , 则 上 述 算法 对 vl, CFM, elel, yl) 也 满足 , 即 有 


ciel sa pe 


Trp-l1 一 
(4 Dia Ae = (ane leel 1 


0 
一 - erotig] (7.5.21) 


另外 一 种 方法 是 用 二 次 型 条 件 
vty 一 工 (7.5.22) 
代替 线性 约束 条 件 式 (7.5.5)。 如 果 在 每 一 步 仍然 假定 D, ME, 那么 在 式 (7.5.22) 的 约 
WF, 式 (7.5.6) 的 极 小 化 就 需要 计算 最 小 特征 值 AN 和 与 之 对 应 的 特征 向 量 ol, 二 者 
将 满足 
(TD 二 Je 由 一 内 AM (vE) ToM = 1 
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上 式 一 旦 收敛 , 则 有 
(ATD Avia = ylelle, (oa)roeel =1 (7.5.23) 
Steiglite McBride 算法 是 计算 已 知 数据 序列 的 有 理 式 逼近 的 “种 适 代 方法 。 这 种 
方法 原本 是 一 种 基于 输入 输出 测量 的 系统 辨识 技术 ,但 也 适用 于 有 噪声 的 冲 激 响 应 实现 
问题 。 令 模型 如 式 (7.5.17) 所 示 。 在 第 k 次 选 代 , 估计 A(z) 和 yl) 是 利用 误差 准则 


a'S hro (g0) -m0 gto] 


的 极 小 化 求解 。 典 型 地 ， 和 
也 可 以 转换 成 矩阵 一 向 量 形式 
Be Jory“ 国 He gt) (7.5.24) 
2 


其 中 ， ch 和 Ae 是 下 三角 Toeplitz HEME, 它们 由 数据 序列 alk) 和 全 极点 滤波 器 
Jig ig J 的 冲 激 响应 组 成 , 详 见 文献 [307]。 

很 明显 , 式 (7.5.24) 在 关于 y" 的 线性 约 来 条 件 下 的 极 小 化 是 一 个 最 小 一 乘 问题 。 业 
已 证 明 lson ,在 每 一 步 和 迭代 过 程 中 , 此 问题 的 解 与 具有 线性 约束 的 迭代 二 次 型 极 大 似 然 
法 给 出 的 解 完全 相同 。 因 此 ， 当 应 用 于 有 噪声 的 实现 问题 时 ，SteiglitzMcDride 算法 与 线 
性 约束 的 选 代 二 次 型 极 大 似 然 法 是 一 致 的 。 

LR Fi Hankel 矩阵 通 近 和 有 了 噪声 的 实现 问题 说 明 ，Moor 为 仿 射 结构 化 矩阵 提 

出 的 结构 总 体 最 小 一 乘 方法 M 在 信号 处 理 和 系统 理论 中 具有 重要 的 应 用 

除了 前 面 介 绍 的 凡 种 总 体 最 小 二 乘 方法 外 , Roorda 与 Hejj 于 1995 年 提 山 了 动态 系 

统 建 模 的 全 局 总 体 最 小 一 乘 方法 B, 


本 章 小 结 


本 章 集中 讨论 求解 矩阵 方程 hz = 五 的 线性 代数 方法 。 在 分 析 了 只 考虑 数据 向 量 避 
的 扰动 e 的 最 小 二 乘 方法 的 不 足 之 后 ， 本 章 介绍 了 几 种 推广 的 最 小 二 乘 方法 : 
(1) 总 体 最 小 二 乘 方法 同时 考虑 A 的 扰动 E fb 的 扰动 e, 优 于 普通 的 最 小 二 乘 
方法 . 但 是 , BREA D= [-e, E] 各 个 噪声 分 时 统计 不 相关 , 并 具有 相同 
的 方差 。 
(2) 约束 总 体 最 小 二 乘 方法 可 以 克服 总 体 最 小 二 乘 方法 的 不 足 ， 适 用 于 扰动 矩阵 
D = |-e, E] 的 各 个 噪声 分 量 统计 相关 ,或 者 咀 然 统计 不 相关 , 但 却 具 有 相同 方 
卷 的 情况 。 
(3) 结构 总 体 最 小 二 乘 方法 是 一 种 利用 矩阵 的 某 些 特殊 结构 的 总 体 最 小 二 乘 方法 。 
此 外 ， 本 章 还 介绍 了 总 体 最 小 二 乘 、 约 束 总 体 最 小 二 乘 和 结构 总 体 最 小 二 乘 方法 的 
一 些 重要 应 用 。 


习 题 


7,1 考虑 线性 方程 48 + < = x, Ap, e 为 加 性 有 色 噪 声 向 量 , 满足 条 件 Efe} = 0 
和 EfeeT} = Ro $ REBA MAWRA QO) = TWe 作为 求 参数 向 量 9 最 
优 估 讨 Bwrs 的 代价 函数 。 这 种 方法 称 为 加 权 最 小 二 乘 方法 。 证 明 


Gris = (ATWA) ATWee 


H, 加权 短 阵 W 的 最 优选 择 为 Wop = R 
72 已 知 超 定 的 线性 方程 ZIX, =Z Y0, 其中， 和 © RDK 称 为 辅助 变量 矩 


E, 并 且 t+1> KK。 
(1) 令 参 数 向 量 8 在 t 时 刻 的 估计 为 8， 求 其 表达 式 。 这 一 方法 称 为 辅助 变量 方法 


(instrumental variable method). 


(2) 令 z 
=[% = = [Xt 
ra] 2 |] 
R be 的 递 推 计算 公式 。 
7.3 B10| AE A ER?” g eR”, beR”, C ER deR, 并 且 7 起 一 个 大 于 零 
的 数 。 现 在 希望 求解 带 有 二 次 约束 的 最 小 二 乘 问题 : 


min || Aæ — bll, æE S{r) (1) 


其 中 ,5S(7) 是 一 个 向 量 集合 , 定义 为 
S(r) = {x : ||Cx - diz < 7} (2) 


(1) 证明: # E- CCt)dla > rs WR (1) 和 式 (2) 所 表述 的 二 次 约 末 最 小 二 乘 阿 


题 无 解 。 
(2) 二 次 约束 最 小 二 乘 问 题 存在 显 式 解 ， 当 用 仅 当 存在 2 < Re 使 得 


{\c[Atb+ (F — AtA)z] - dip <7 


成 立 ， 并 且 对 应 的 显 式 解 由 x = AT+ ATA) 给 出 。 (提示 : 无 约 东 最 小 二 乘 问题 
min || Aa: - bl。 的 通 解 为 > = Atb + Null(A) = Atb + Range(I - A'A). ) 
7.4 084 求解 线性 方程 As = b 的 总 体 最 小 二 乘 问题 也 可 以 表示 为 


min |DIB,e|Tllp, Ee RO", ee R™ 
b+ecRange( A+ E) 


式 中 , D = diag(d1,d2,… ,dm) Al T = diag(t1,ty,… stny) 非 奇异 。 
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(1) 证 明 : Æ rank(4) < n， 则 上 述 总 体 最 小 二 乘 问题 有 一 个 解 ， 当 是 仅 当 be 
Range(4)。 

(2) 证 明 : 27 rank(A) = n, ATD?b =0, [tapil Dollz > o (DAT); T, = diag(t,, 
toss sty)» UES eb EMC. EP, 0, (C) 表示 矩阵 C 的 第 n 个 奇异 值 。 

7.5 ”考虑 上 题 所 述 的 总 体 最 小 二 乘 问题 。 证明: 车 C = D[4,8jT = [4d] FH 
On(C) > onHi(C)， 则 总 体 最 小 一 乘 解 满足 (ATA, — 024,(C)Da = Ald. 

7.6 DAOR (1,3), (3,1), (5,7), (4,6), (7,4) JARED RA — Meh 
二 乘 的 拟 合 直线 , 并 分 析 它 们 的 距离 平方 和 。 

7.7 考虑 加 性 白 蝇 声 中 的 谐 波 恢复 问题 


p 
a(n) = 》 A sin(2x fin + $i) + e(n) 


i=l 
» An fohi HAE ;个 谐 波 的 幅 值 、 频 率 和 相位 ， 而 e(n) 为 加 性 高 斯 白 噪 声 。 已 
知 上 述 诺 波 过 程 服从 特殊 ARMA 模型 


2p 2p 
a(n) +J azin —i) =e(n)+ J aen- i), nm=1,2,--- 
1 i=i 


和 差分 方程 (修正 Yule-Walker 方程 ) 


2p 
k) + J a;R,(k-i)=0, Vk 
并 且 谐 波 频 率 可 以 道 过 
Ji = arctan[Im(z,)/Re(z,)]/2n, 1=1,2,,p 


恢复 , 其 中 ,z 是 特征 多 项 式 


A(z) =1+ Ds 
i=l 
KIRADI (z,, 地) 的 一 个 根 。 营 
z(n) = ¥20sin(270.2n) + V2sin(270.213n) + e(n} 


h, efn) 是 均值 为 0, 方差 为 1 的 标准 高 斯 白 噪声 , 并 取 ”= 1,2,… ,128。 试 使 用 一 般 
的 最 小 二 乘 方法 和 奇异 值 - 总 体 最 小 二 乘 (SVD-TLS) 全 法 分 别 信守 观测 数据 的 ARMA 
模型 的 AR 参数 @,， 并 估计 谐 波 频率 f 和 foo 假定 差分 方程 个 数 取 为 40, 使 用 最 小 一 
乘 方法 时 分 别 取 p= 二 2 和 p= 3, TAARA RAD AMER MOA 14, 通过 有 效 奇 
异 什 个 数 的 判断 , 确定 谐 波 个 数 , 然后 计算 特征 多 项 式 的 根 。 从 这 一 计算 机 仿真 实验 ,你 
能 够 得 出 最 小 二 乘 方法 和 总 体 最 小 二 乘 方 法 的 某 些 比 较 结 果 吗 ? (提示 : 参考 习题 6.16) 


第 8 章 特征 分 析 


对 一 个 已 知 的 量 确定 描述 其 特征 的 坐标 系 , 称 为 特征 分 析 (eigenanalysis). 特征 分 析 
在 数学 和 工程 应 用 中 都 具有 重要 的 实际 意义 。 例 如 , ERRERA, 特征 分 析 往 往 与 矩阵 
的 谱 分 析 联 系 在 一 起 : 一 个 线性 算 子 的 谱 定义 为 该 算 子 矩阵 特征 值 的 集合 ， 而 描述 线性 
算 子 特征 的 基 (本 ) 向 其 定义 为 其 特征 向 基 的 集合 。 但 在 工程 中 ， 谱 分 析 却 与 Fourier 分 
析 联 系 在 一 起 : 信号 的 频谱 定义 为 信号 的 Fourier 变换 ,功率 谱 定义 为 频谱 模 值 的 平方 或 
自 协 方差 函数 的 Fourier 变换 。 又 如 ,Rayleigh 商 古 矩阵 代数 和 物理 学 中 一 个 极其 重要 的 
量 , 它 事实 上 是 用 特征 值 和 特征 向 量 表示 的 -次 型 范 数 之 比 。 现 在 , Rayleigh 商 已 广泛 应 
用 在 最 优化 理论 、 信 号 处 理 、 模 式 识 关 、 道 信 等 学 科 中 。 

本 章 将 围绕 矩阵 的 特征 分 析 ， 首先 详细 讨论 矩阵 的 特征 值 分 解 , 然 后 围绕 特征 值 分 
解 的 以 下 推广 分 别 展 开 专 题 介 绍 : 矩阵 束 的 ) UMEDA Rayleigh 商 、 广义 Rayleigh 
商 、 二 次 特征 值 问题 以 及 多 个 矩阵 的 联合 对 角 化 。 最 后 , 将 讨论 特征 分 析 与 Fourier 分 析 
之 间 的 联系 。 为 了 方便 读者 进一步 理解 这 些 理论 ,还 将 重点 介绍 特征 值 分 解 、) 义 特征 
值 分 解 、Rayleigh 商 、) 义 Rayleigh 商 、 二 次 特征 值 问题 和 联合 对 角 化 的 一 些 典 型 应 用 。 


8.1 ”特征 值 问题 与 特征 方程 


特征 值 问题 既是 一 个 理论 上 非常 有 意义 的 问题 , 同时 又 有 着 广泛 的 应 用 。 


8.1.1 ”特征 值 问题 

特征 值 的 基本 问题 可 以 陈述 为 : 给 定 一 个 n x n 维和 矩阵 A, 确定 标量 的 值 , 使 得 
线性 代数 方程 

Au = \u, uO (8.1.1) 

具有 nx 1 非 零 解 w。 这 样 的 标量 A 称 为 矩阵 A 的 特征 值 (eigenvalue), 向 量 u 称 为 与 
A 对 应 的 特征 疝 量 (eigenvector)。 式 (8.1.1) 有 时 也 被 称 为 特征 值 - 特征 向 量 方程 式 。 

由 于 特征 值 A 和 特征 向 量 u 经 常 成 对 出 现 , BUA (A u) 称 为 矩阵 A 的 特征 对 
(eigenpair) 。 虽 然 特 征 值 可 以 取 零 值 ， 但 古 特 征 向 量 不 可 以 是 零 向 基 。 

线性 变换 也 存在 特征 值 问题 r1, 令 T: Ro Fr 为 一 线性 变换 , 称 标量 A 是 
线性 变换 T 的 特征 值 , HOR” 内 存在 一 个 非 零 向 量 z 满足 


T(x) = re (8.1.2) 
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满足 上 述 关 系 的 非 零 向 量 x MARR T 与 特征 值 和 对 应 的 特征 向 量 。 

一 个 线性 变换 w = T(x) 若 能 够 表示 为 w = Ax, WEK A 是 线性 变换 的 标准 矩阵 
(standard matrix). 显然 , 如 果 A 是 线性 变换 的 标准 和 矩阵 , 则 线性 变换 的 特征 值 问题 的 表 
达 式 (8.1.2) 可 以 写作 Aw = Xz。 由 此 得 出 下 列 结论 ， 

(1) 标量 A 是 线性 变换 T 的 特征 值 , 当 且 仅 当 A 是 该 线性 变换 的 标准 矩阵 4 的 特 

征 值 。 
(2) Hite 是 线性 变换 T 与 特征 值 A 对 应 的 特征 向 量 ， 当 且 仅 当 e 是 该 线性 变换 
的 标准 算 阵 4 与 特征 值 的 特征 向 其 。 

式 (8.1.1) 意味 着 ,使 用 矩阵 A 对 向 量 u 所 作 的 线性 变换 Au 不 改变 向 量 u 的 方 
向 。 因此, 线性 变换 Au 是 一 种 “方向 不 变 ” 的 映射 。 为 了 确定 向 量 u, 将 式 (8.1.1) 改 
写作 

(A-ADu=0 (8.1.3) 
由 于 上 式 对 任意 向 量 u 均 应 该 成 立 ， 故 式 (8.1.3) 存在 非 零 解 u 4 0 的 唯一 条 件 是 矩阵 
A-A 的 行列 式 等 丁 零 , 即 

det(A ~ AT) =0 (8.1.4) 
应 当 指出 ， 一 个 特征 值 不 一 定 是 唯一 的 , 有 可 能 多 个 特征 值 取 相 同 的 值 。 同 一 特征 值 重 
复 的 次 数 称 为 特征 值 的 多 重度 (multiplicity). 例如 , nxn 单位 矩阵 的 n 个 特征 估 都 等 本 
1, 其 多 重度 为 n。 

观察 式 {8.1.4), 很 容易 各 接 得 出 下 面 的 重要 结果 ; 若 特征 值 问题 具有 非 零 解 x #0, 
则 标量 和 必然 使 nxn IERE A-A 奇异 。 因此, 特征 值 问题 的 求解 由 以 下 两 步 组 成 ， 

(1) 求 出 所 有 使 矩阵 A-A 奇异 的 标量 和 (特征 值 ); 

(2) 给 出 一 个 使 矩阵 4 — AT 奇异 的 特征 值 和 , 求 出 所 有 满足 (4 一 AT)z = 0 的 非 零 

向 量 s, CRES A 对 应 的 特征 向 量 。 


8.1.2 ”特征 多 项 式 


根据 算 阵 的 奇异 性 和 行列 式 之 间 的 关系 知 ， 和 矩阵 (A-A) A, BARS 
det(A — AI) =0, Ef 
(及 一 AT) 奇异 4 det(A-AN) =0 (8.1.5) 


因此 , WBF (4 ~ AT) 称 为 4 的 特征 矩阵 (characteristic matrix) 281, 4 A fi nxn Hi 
阵 时 ， 展 开 式 (8.1.5) 的 左 端的 行列 式 , 即 得 到 显 式 的 n 次 多 项 式 方程 


ao 二 oa 二 十 an A +(-1) "=0 (8.1.6) 
称 为 矩阵 4 的 特征 方程 , 多项式 det(4 一 AI) 称 为 特征 多 项 式 。 
ATM 4 的 特征 值 和 计算 与 特征 多 项 式 求 根 问题 之 间 的 泥 清 ， 常 在 特征 多 
项 式 中 用 z 代替 入。 
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已 


定义 811 FABRA nxn FORE, 则 nn 阶 多 项 式 


jay) =F a2 aa Bn 
pla) =det(A—ary=| “Pe 
= Ppl + Ppt +s +p T+ Po (8.1.7) 
RAG A 的 特征 多 项 式 。 方 程 
p(z) = det(A — zI) =0 (8.1.8) 


称 为 矩阵 4 的 特征 方程 。 PAED RE ERE A 的 特征 值 (eigenvalues, characteristic 
values, latent values) 或 特征 根 (characteristic roots, latent roots). 
显然 , 矩阵 A 的 ”个 特征 值 和 的 计算 与 特征 方程 xz) = 0 的 求 根 是 两 个 等 价 的 问 
题 。 由 于 特征 多 项 式 p(z) 是 变量 z 的 n 阶 多 项 式 , 特征 方程 p(z) = 0 不 可 能 有 多 于 n 
个 不 同 的 根 。 即 是 说 , 矩阵 Anen 共有 n 个 特征 值 .一 个 n xn 矩阵 4 能 够 产生 一 个 特 
征 多 项 式 。 同 样 , 每 一 个 n 次 多 项 式 也 可 以 写成 一 个 n x n OES IK 9。 
”定理 8.1.1 任何 一 个 多 项 式 


P(A)= AP Fa AT + +a, A+ oan 


都 可 以 写成 nxn KE 


4a, 一 02 一 an-1 “n 
一 1 0 0 0 
A=|10 -1 0 0 
0 0 一 1 0 


的 特征 多 项 式 ， 即 有 p(X) = det(A — A). 
TEAR 按照 第 1 列 计算 行列 式 , 得 


Ata, oz … Oni On 
à oe 0 0 
f(A) = det(AT — A) = ， ， . 
0 0 1 à 
à 0 0 az az 0 
1 1 0 
= (A+a)|. +1? o 
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第 一 个 行列 式 等 于 X"-!, 再 依次 按照 第 1 列 计算 第 二 个 行列 式 , 得 


a3 Ag On a} a, +: 0 
1 入 0 1 à ce Q 
IA = Ata) tol, . . J| . ,， . 
Ov. 1 à 0 -- 1 à 
A 0 +: 0 as ay = 0 
1 A +. 0 1 入 0 
= M+ aA Lar? +3]. . a .| 上 +1a+2| ， . 
Oe. 1d 0 .2 1 A 


式 右 第 一 个 行列 式 等 于 和 -3， 再 按照 第 1 列 展开 第 二 个 行列 式 。 依 此 类 推 , 即 得 
FIA) = AF H a APT + ag ATT? H aga? 3 十 十 an_IA 十 on 


式 右 恰好 就 是 p(X)。 因 此 , 矩阵 A 的 特征 多 项 式 det(A- A) 与 多 项 式 p(A) 相等 。 时 


8.2 ”特征 值 与 特征 向 量 


本 节 重 点 讨论 矩阵 4 的 特征 值 与 特征 向 量 的 有 关 计 算 及 性 质 。 


8.2.1 “特征 值 


根据 代数 学 基本 定理 知 ， 即 使 矩阵 A 是 实 的 ,特征 方程 的 根 也 可 能 大 复 的 ， 而 且 根 
的 多 重 数 可 以 是 任意 的 , 甚至 可 以 是 n BAR. 这 些 根 统称 矩阵 A 的 特征 值 。 
关于 特 钙 值 ， 有 必要 先 集中 介绍 以 下 术语 697 P51, 
(1) 称 4 的 特征 值 入 具有 代数 多 重度 (algebraic multiplicity) z» 车 入 是 特征 多 项 式 
det(A — 21) = 0 HY y BR. 
(2) SE A 的 代数 多 重度 为 1， 则 称 该 特征 值 为 单 特征 值 (simple eigenvalue). 
非 单 的 特征 值 称 为 多 重 特征 值 (multiple eigenvalue). 
(3) 称 A 的 特征 值 A 具有 儿 何 多 重度 (geometric multiplicity) Y， 若 与 A 对 应 的 线 
性 无 关 特 征 向 量 的 个 数 为 Y。 换 言 之 ,几何 多 重度 y 是 特征 空间 Null(A - 42) 
的 维 数 。 
(4) 矩阵 A 称 为 减 次 矩阵 (derogatory matrix)， 苦 至 少 有 一 个 特征 值 的 儿 何 多 重度 
大 于 i. 
(5) 一 特征 值 称 为 半 单 特征 值 (semi-simple eigenvalue), 若 它 的 代数 多 重度 等 于 它 的 
几何 多 重度 。 不 是 半 单 的 特征 值 称 为 亏损 特征 值 (defective eigenvalue). 
几何 多 重度 还 有 另外 一 种 定义 , 将 在 稍 后 介绍 。 
众所周知 , 任何 一 个 n RERE ple) 都 可 以 写成 因 式 分 解 形式 


p(z)=atz 一 zz 一 za) (8 — £n) (8.2.1) 
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YER, REST ple) 的 n PR z1,22,… ,Zz 不 一 定 是 各 不 相同 的 ， 也 不 一 定 就 是 
实 的 。 

一 般 说 来 , 矩阵 4 的 特征 值 二 各 不 相同 的 。 若 特征 多 项 式 存在 多 重 根 , 则 称 和 矩阵 A 
具有 退化 特征 值 (degenerate enginvalue)。 

需要 注意 的 是 , 即使 矩阵 4 SEERE, 其 特征 值 也 有 可 能 是 复 的。 以 第 4 章 的 Givens 
旋转 矩阵 


A= [es | 


sind cos 
为 例 , 其 特征 方程 


os 一 ~ sind 一 (cosg 一 Xj2+sin2g 一 0 


det(A - AF) = sing cos 日 一 人 


然而 , AYO 不 是 n 的 整数 倍 , 则 sin? > 0。 此 时 , 特征 方程 不 可 能 有 和 的 实 根 , Bll Givens 
旋转 矩阵 的 两 个 特征 值 都 为 复数 ， 与 它们 对 应 的 特征 向 量 也 是 复 向 量 。 

下 面 讨论 特征 值 的 一 些 重 要 性 质 。 

性 质 1 矩阵 4 奇异 ， 当 甘 仅 当 特 征 值 和 = 0。 

证 明 ” 先 证 充分 条 件 。 将 特征 值 入 = 0 代入 特征 方程 , 得 det(A) = 0. 从 而 知 矩 阵 A 
AH. 再 证 必要 条 件 。 假定 矩阵 4 奇异 , 则 det(4) = 0, 或 者 等 价 写作 det(A -— 02) 一 0。 
因此 , 在 和 矩阵 4 奇异 的 情况 A = 0 ERE A 的 特征 值 。 图 

性 质 2 矩阵 4 和 AT 具有 相同 的 特征 值 。 

证 明 由 行列 式 的 性 质 : 对 于 任何 矩阵 B, 恒 有 det(B) = det(B™). Alt, 若 和 是 
矩阵 4 的 特征 值 , 则 有 


det(A — XE) = det[(A — AZ)"] = det(AT ~ AD) = 0 


最 后 一 个 特征 方程 说 明 , A 也 是 转 置 矩阵 AT HORE, BERE 4 和 AT 具有 相同 的 特 
征 值 。 图 

性 质 3 A nxn 矩阵 有 4 的 特征 值 , 则 有 

(1) 和 * 是 矩阵 4* 的 特征 值 。 

(2) 若 4 非 奇异 ， 则 A 具有 特征 值 1/X。 

(3) 矩阵 A + co27 的 特征 值 为 + og?。 

证 明 (1) 用 归纳 法 证 明 。 先 证 明 对 k= 2,02 是 A? 的 特征 值 . 假定 (A, u) 是 矩阵 4 
的 特征 对 , Bf Au = Au, 其 中 , u A 0. 此 式 两 边 左 乘 矩阵 A 后 , 得 A(Au) = Adu), 从 
而 有 

Au = (Au) =AQu) = Xu, u X40 

这 意味 着 02,0) 是 矩阵 A? 的 特征 对 。 现在 假定 (A1, u) 是 矩阵 AP) 的 特征 对 ， 即 
Alu = Atu SE. HERP A, 立即 有 


Abu = (AF tu) = AQ* lu) = Afu, ou #0 
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这 就 证 明了 At 是 A* 的 特征 值 。 
(2) 因为 A IERE A 的 特征 值 , 故 det(A - AD = 0. 2ER A 可 逆 , 则 有 


0 =det(A — AI) = detLaT-A4-0] = det{( A) det(T — AA-1) 


HERE A 可 逆 时 , 行列 式 det(A) 0, 故 上 式 意味 着 det(I 一 和 4~!) = 0, 或 等 价 为 


det (a= 一 x) =0 
这 表明 ，1/A REE AT! 的 特征 值 。 
(3) 令 Aa EERE 4 的 特征 值 , 而 和 是 矩阵 4 + oI 的 特征 值 , 则 有 Au = Agu 
和 (A+o7 Du = du. 综合 这 两 式 , 得 Au = (和 一 02)w = yu, 融入 = 和 4 十 0? 对 矩阵 
4+a27 的 每 一 个 特征 值 均 成 立 。 a 
E mx mHE 4 RA n 个 不 同 的 特征 值 Nm Ate gs 其 中 , m > n, 则 存在 一 个 
非 奇异 的 m” xm BEBE TE = TAT, 其 中 ,A X Jordan 型 , 即 


‘Ay O 
A= E (8.2.2) 
o A,} 
AYO AEE, 定义 为 
da, 1 0 
0 An 1 0 
A=|o 0 A | =L kan (8.2.3) 
. ny 
0 0 0 A, 


式 (8.2.2) 所 示 和 矩阵 分 解 称 为 Jordan 型 分 解 。Jordan 块 矩阵 主 对 角 线 的 相同 特征 值 
入 ,重复 出 现 的 个 数 称 为 该 特征 值 的 几何 多 重度 (geometric multiplicity)。 这 是 几何 多 重 
度 的 第 二 种 定义 。 
8.2.2 ”特征 向 量 

FERE Anen 是 一 个 一 般 的 复 矩 阵 ， 并 且 和 是 其 特征 值 , 则 满足 


(A-ADv=0 或 Av=dv (8.2.4) 
的 向 量 v KA 4 与 特征 值 对 应 的 右 特征 向 量 , 而 满足 
ua(A-AD)=07 或 uA = 和 ne (8.2.5) 


的 向 量 u 称 为 A 与 特征 值 对 应 的 左 特征 向 量 。 
SIEM A H Hermitian 答 阵 ， 则 由 于 其 所 有 特征 值 为 实数 ， 立 即 知 v = u, R 
Hermitian 和 矩阵 的 左 和 右 特征 向 量 相同 。 
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有 必要 对 和 矩阵 的 奇异 值 分 解 与 特征 值 分 解 之 间 的 联系 与 区 别 作 一 番 比 较 : 

{1) 奇异 值 分 解 适 内 于 任何 mxn 长 方形 矩阵 (rn >n RE m <n 均 可 ), 特征 值 分 
解 只 适用 十 正方 矩阵 。 

(2) 即使 是 同一 个 n x n JF Hermitian 矩阵 A, 奇异 值 和 特征 值 的 定义 也 是 完全 不 
同 的 : 育 异 值 定义 式 为 式 (6.2.16), BH 

op 一 weit, ll Elle :rank(A+ BE) <k-1}, k=1,2,---,min{m,n} (8.2.6) 
换言之 , SHAS ERB A 的 秩 减 小 1 的 误差 矩阵 EE 的 Frobenius 范 数 
等 价 。 与 之 不 同 , 特征 值 则 定义 为 特征 多 项 式 det(A 一 XI) = 0 的 根 。 同一 个 正 
方 矩 阵 的 奇异 值 和 特征 值 之 间 没 有 内 在 的 关系 , BAL m x n SEE 4 的 非 零 奇异 
值 是 nxn Hermitian 矩阵 AMA 或 mm x m Hermitian 矩阵 AAP 的 非 零 特征 值 
的 正平 方 根 。 

(3) mxn EE A 与 奇异 值 o; MUNA HAE u MALATE ww 定义 为 满 
Æ whwi = o 的 两 个 向 量 , 而 n x n 和 矩阵 4 的 左 和 右 特征 向 量 则 分 别 由 
aA = Au? Al Av, = Aw, 定义 。 因 此 , 对 于 同一 个 nx n 非 Hermitian 和 矩阵 
A, 它 的 ( 左 和 右 ) 奇异 向 量 与 (FAE) 特征 向 量 之 间 也 没有 内 在 的 关系 。 然而， 
矩阵 A < Cmx" 的 左 奇异 向 量 4% 十 m x m Hermitian 矩阵 AA" 的 特征 向 量 ， 


因为 


ull Av, (ul Av)" = oof > ul (AA u; = A; = 0? 
类 似 地 , HERE A e Cmxn 的 右 奇 异 向 量 v, 起 n xn Hermitian 矩阵 AMA 的 特 
征 向 量 。 
在 下 面 的 讨论 中 。 如 无 特别 申明 ， 和 撼 阵 4 的 特征 向 量 系 指 右 特征 向 量 ， 并 且 用 u 


表示 。 
命题 8.2.1 $ uug u È nxn MARE A 与 不 同 特征 值 入, 和 ho,… ,和 4 相 


对 应 的 特征 向 量 , 好 


Au = Aup i=l, ki Sn (8.2.7) 
AFA, I#R1ISGjSk (8.2.8) 


则 这 e 个 特征 向 量 的 集合 {uun u) 是 一 个 线性 无 关 集 合 。 

证 明 [2401 利用 反 证 法 证 明 。 假设 子 集合 {tw1, ws,… u} 线性 相关 。 此 时 ， 某 个 子 
集合 一 定 是 线性 相关 的 。 这 意味 着 ,存在 一 个 整数 m (2 < m Sk) 使 得 

(1) 子 集合 S = (ta, Um) 是 线性 无 关 的 ; 

(2) FRE Sy = (ty, tgs ,Wn} 是 线性 相关 的 。 
由 于 S, 线性 相关 , 故 存在 标量 al, ai,… ,am 使 得 


Oy Uy +++! + Om- Una + omum =O (1) 
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RP, aaa ,am 不 全 部 为 零 , 并 且 am A0 这 是 因为 , E am = 0, 则 式 (1) 说 明 S, 
线性 相关 ， SRL. 
用 和 矩阵 A ERR (1) 两边, 并 代入 Au, = Au, 即 有 


AN om Amt, = 0 {2) 
R (1) MAAR Am 得 

OA ty + + Om Am imi + OmAmUm =0 (3) 

式 (3) RER (2), 结果 为 
041 (Ag — ALA + GaAs — Ag) thy + + Ami (Am Ami) m1 =O 
4 A =0;,Am—A), 1 <ig m 一 1, 即 可 将 上 式 改 写 为 
By tty + batta tt Hn 1dm-1=0 
由 于 子 集合 S, 是 线性 无 关 的 ， 所 以 上 式 成 立 的 条 件 古 
By = By = +++ = By = 0 


或 者 
oA A)=0 i=l2,.. ,m1 

因为 特征 值 各 不 相同 ， 上 式 给 出 结果 a; =0, Y1<igm-1。 

当 o=0YI<ki 和 gm-1 时, 式 (1) 简化 为 amim = 0。 这 意味 着 un = 0, A 
为 前 面 已 证 明 过 av #0. 但 是 , tm = 0 与 任何 特征 向 量 不 得 为 零 向 量 相 矛盾 ， 故 集合 
{urun ,Wh} 线性 相关 这 一 假设 不 能 成 立 。 因 此，{w1, Ug, ,tp} 线性 无 关 。 L] 

E k=n 则 命题 8.2.1 的 结果 为 下 列 推论 。 

推论 8.2.1 令 4 是 一 个 nxn AGERE. 车 4 具有 不 同 的 n 个 特征 什 , BAR 
有 nn 个 线性 无 关 的 特征 向 量 。 

另 一 方面 , AR (8.1.1) 容易 看 出 , 一 个 特征 向 量 乘 以 任 一 非 专 的 标量 后 , 仍然 满足 
st (8.1.0， 即 还 是 特征 向 量 。 为 了 避免 特征 向 量 的 多 值 性 ,通常 定 义 特征 向 量 总 是 具有 
单位 内 积 (或 者 单位 范 数 )， 即 约定 tau = 1。 

车 (Au) 是 nxn SHEE 4 的 特征 对 , 则 (X*,w*) 也 古 实 矩阵 4 的 特征 对 。 

证 明 由 于 4 是 实 矩 阵 ， 故 有 (Au) = Au, KP, * ABB, AHR 
和 已 知 条 件 Au = du, BH Aut = (Au) = (Au) = 和 ww*。 这 一 结果 表明 ,(X*,w*) 也 
是 实 和 矩阵 4 的 特征 对 。 [ 

如 果 一 个 莹 通 的 另 x? 算 阵 4 已 求 出 了 不 同 的 特征 值 , 那么 如 何 求 与 这 些 特征 值 对 
应 的 特征 向 量 呢 ? 答案 起 简单 的 ， 只 要 利用 高 斯 消去 法 求解 方程 (4 - Xz) = 0， 得 到 与 
每 个 已 知 和 对 应 的 非 零 解 > WY. 
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k 面 通过 一 个 例子 说 明 如 何 分 步 求 出 一 个 盖 xm 矩阵 A 的 特征 值 、 对 应 的 特征 向 量 
和 对 角 化 。 
例 8.2.1 已 知 一 个 3x 3 KHER 


工 一 入 1 1 
0 3 一 入 3 
一 2 1 1-2 


det(A — AZ) = = —MA —2)(A-3) 


求解 特征 方程 det(4 — M) = 0 得 到 和 矩阵 4 的 3 个 特征 值 入 = 0,2, 36 
(1) 对 村 特征 值 =0, 有 (4 -0PDzr = 0, WA 
a 十 Za +r =0 
322 + 373 一 0 


一 271 十 Z2 十 33 一 0 


其 解 为 nr = 0 和 | za = -za， 其 中 ,zs 任意 。 因 此 , 与 特征 值 =0 对 应 的 特征 向 量 为 


G] 

H 
— 
ado 
Ê 
Il 
s 
— 
I 
ermo 
uw 
2 
小 
> 


Ma=1, 得 特征 向 量 为 z; = [0, -1, 1T. 
(2) 对 于 特征 值 X= 2, 有 (4 -2Dz=0, 即 


一 21 +2,+2,=0 
3Z2 十 373 一 0 


一 2rl + za 一 2Z3 一 0 


其 解 为 z = _2zsaa = -3zs 其 中 ,zs 任意 。 因 此 , SRE A = 2 对 应 的 特征 向 量 为 


Ro=1, SEMEN rz = [-2, 一 3, iT. 
(3) 类 似 地 , FA = 3 对 应 的 特征 向 其 为 rs = [1, 2,，0jr。 三 个 特征 向 量 组 成 矩阵 


0 -2 1 
U=|-1 -3 2 
1 1 0 
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其 逆 矩 阵 为 
1 -1/2 1/2 
| 1/2 "2 
-1 1 1 
于 是 , 矩阵 A 的 对 角 化 结果 为 
1 -1/2 1/2 111 0 -2 1 
oo 172 all reall -3 | 
-1 1 1 -2 1 1 1 10 
1 -1/2 1/2 0 -4 3 
-f= 1/2 yelfe 一 6 s| 
-1 1 1 0 20 


它 恰好 就 是 由 矩阵 A 的 三 个 不 同 特征 值 0,2, 3 构成 的 对 角 矩 阵 。 
8.2.3 “与 其 他 矩阵 函数 的 关系 


一 个 矩阵 的 特征 值 与 矩阵 的 其 他 标 基 数 有 着 密切 的 关系 。 这 里 先 引出 特征 值 的 条 
件数 的 定义 。 
定义 8.2.1 [97,P.99 任意 一 个 矩阵 4 的 单个 特征 全 A 的 条 件数 定义 为 


cond(.A) = witty (8.2.9) 


AP, u,v 分 别 是 与 特征 值 A UNAM OEE. 
例 8.2.2 Br,p93 考虑 矩阵 
-149 一 50 一 154 
A= | 537 180 546 | 


-27 -9 -25 


其 特征 值 为 {1, 2, 3}。 与 特征 值 和 = 1 对 应 的 左 和 右 特征 向 量 分 别 为 
0.6810 

u= | 0.2253 
0.6967 
0.3162 

v= | —0.9487 
0.0000 


相应 的 条 件数 cond(A,) = 603.64。 这 说 明和 矩阵 元 素 0.01 数量 级 的 扰动 将 引起 特征 值 入 
最 大 6 倍 的 变化 。 例 如 , 元素 mx 扰动 到 -149.01,， 则 和 矩阵 A 的 特征 值 变 为 


{0.2287, 3.2878, 2.4735} 


面 讨论 一 个 撼 阵 的 所 有 特征 值 的 集合 与 该 算 阵 的 谱 分 析 、 行 列 式 、 迹 之 间 的 关系 。 


工 
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IL， 与 矩阵 的 谱 分 析 的 关系 
定义 8.2.2 HiME A e OT 的 所 有 特征 值 c C 的 集合 称 为 矩阵 A 的 谱 ， 记 作 
ACA). RARE A 的 谱 半 径 是 非 负 实数 ,定义 为 
p(A) = max|A|: À € XA) (8.2.10) 
AT A) 是 包含 4 MATT EME AIA RA LAR) AE, Be SF 
的 原点 ， 故 名 谱 半 径 。 
令 MA) = Ta Anp 则 
det(A) = Ah (8.2.11) 
显然 , 车 4 具有 零 特 征 值 , 则 det(4) = 0, UE 4 奇异 。 反 之 , A 的 所 有 特征 值 都 
不 等 于 零 ， 则 det(A) #0, WER: A 非 奇异 。 
2, 与 算 阵 的 行列 式 和 迹 的 关系 


令 AEA nx n He, B D = zhm。 考 虑 矩阵 的 对 角 展 开 (diagonal expansion) 
Il4+ 了 pl。 以 m= 3 为 例 , WH 
Gutt an 13 
IA+DI=| an Ga +2 ag 
031 az gg +e 
a. Q; a. a. a Q; 
Setau toatao ta(n aefa e a 
Qiu 22 Hg 
Gz 022 a23 
a31 %32 033 
定义 
tri(A) = ayy + 022 + a33 
tr,(A) = JE A 所 有 二 阶 主子 式 之 和 
trs(4) = EM A 所 有 三 阶 主子 式 之 和 
则 对 角 展 开 可 以 表示 为 


|A+ Dj = £? + 27tr,(A) + rtra(A) +trs(4) 
推 而 广 之 , 对 于 nxn 矩阵 4， 其 对 角 展 开具 有 形式 
|Atal,| =a" + antr (A) +2" tra A) +--+ + etr,_1(A) + trn (A) (8.2.12) 
shh, tr,(A) 是 矩阵 A OSTA i MEFRZA. 根据 这 一 定义 知 
tri(A) = Say = tr(A) (8.2.13) 


tr,(A) = |A] = det( A) (8.2.14) 
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利用 对 角 展 开 公式 (8.2.12)， 可 得 矩阵 A 的 特征 多 项 式 |4 一 和 I。| =0 为 


| 和 一 Ai = 人" 十 (tn(4) + (A) tra A) +--+ (Atra (A) + tr, (A) 
= (A) + (~ AYA) + (A)? tra(A) + + (Ata (A) + JA} 
=0 (8.2.15) 


假设 ” 阶 特 征 多 项 式 |4 -Mpal = 0 的 n 个 根 是 入 ,和 2,… An ( 茶 些 根 可 能 起 多 重 根 )， 
则 有 
|A- Mul = On -NO — A) (An =À) = 
展开 后 为 
Care + (Ar? SE Saat wot] =o (8.2.16) 
isl, ižj j=l i=1 


分 别 比较 式 (8.2.15) 各 式 (8.2.16) P (一 和 )"-! 的 系数 和 常数 项 ， 立 即 得 到 


tz(4) = >a; (8.2.17) 
i=l 

det(A) = Il ri (8.2.18) 
i=l 


这 表明 , 矩阵 4 的 迹 等 于 其 所 有 特征 值 之 和 ， 而 行列 式 |4| 等 于 矩阵 A 所 有 特征 值 的 
乘积 。 这 就 是 矩阵 特征 值 与 行列 式 、 迹 之 间 的 关系 。 

式 (8.2.18) 也 可 以 利用 式 (8.4.5) 导出 。 由 丁 西 矩阵 的 行列 式 等 于 1， 由 式 (8.4.5) 
易 知 


det(A) = det(U) det (©) det(t7#) = det (7) 


HA det(A =I 
a(t) = HORORE SDT 表示 n 个 信号 组 成 的 向 量 , H R, = Efs 人 bsE 人] 
表示 信号 向 量 s(t) 的 相关 矩阵， 即 


E{lsi(@)P} AsO) .+ Efsi(t)st (2)} 
Bfez 人 si(O9} Eflso(Ol} + BE{sa(t)s(t)} 


R,= 
EEAO BAO) + Ells 
假定 其 n 个 特征 特征 信 为 和 1, 和 2,… ,和 ,利用 算 阵 的 迹 的 定义 知 
t(R,) = DB{ls(dP} = DX (8.2.19) 
i=] i=l 


即 是 说 , AXIER R, 的 特征 值 之 和 反映 ”个 信号 能 量 之 和 。 
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定义 8.2.3 ”对称 和 矩阵 A c R” 的 惯性 n(A) 定义 为 三 元 组 


In(A) = (44 (A), i-(A), io(4) 


中 , i, (A),i-(A) 和 ig( A) 分 别 是 A 的 正 、 负 利 零 特征 值 的 个 数 (多 重 特征 值 全 部 计 
算 多 重 数 在 内 )。 另 外 , Æ i (A) —i(A) 叫做 A MASE (signature). 

显然 , 对 称 矩阵 4 的 秩 由 rank(4) = i,(A) +i (A) 决定 。 

KEEK TIERE RER ILAE. 

引 理 8.2.1 (Sylvester 惯性 律 ) 给 定 一 个 对 称 算 阵 A 和 一 个 相同 维 数 的 非 奇异 第 阵 
U, W) In(A) ~ In(U AUT). 

引 理 8.2.2 ( 赠 广 系统 的 惯性 )Dl86, Lemmas.) 给 定 一 个 nxn 对称 外 阵 利 一 个 m xn 
HiME Je Sr =rank(J), JHE N 的 列 向 量 组 成 矩阵 J 的 等 空间 的 一 弓 基 。 若 矩阵 
K 定义 为 


el S| 


J oO 


则 
In(K) = In(N* HN) + (r,r,m—r) 


引 理 8.2.9 |158,Proposition?] 给 定 一 个 严 xam EE 五 ,一 个 m x n EE 了 和 一 个 
nxn MEME IEEE D. $ r= rank(J 一 D). Jf ERE Uo 的 列 向 基 组 成 DME 
室 间 的 一 组 基 , ME IN 的 列 向 量 组 成 U8J 的 零 空 间 的 一 纽 基 。 车 Di 是 D 的 Moor 
Penrose XERE, JCH D HERIR mg W rank(U8 J) = mo — mt ro FEX 
Ho=Ht+T Ds, H 

H J 
< 人 [7 k] 
则 
In(K) = In(NTH GN) + (mo —m+7,7,m—7) 
3. SMES A HEE 
考虑 矩阵 4 的 n 次 多 项 式 


FAVS A? HEATH + GAT CE (8.2.20) 


HER A 有 特征 对 Ou) 即 Aw = Au, 则 由 于 
Au = \Au = Xu 
Au = \A’u = Bu 


A'u =ì"u 
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立即 有 


(AHAA 14-46, Ate, Du 
=A™ut+ ce AP tuts +e, Aube, 
sA Ut oN Et Hey Ae 十 Cnt 


一 (和 如 十 en 十 .十 ci 十 co) (8.2.21) 
SMES IAN f(A) 的 特征 值 为 f(A) B 
F(Aju = FO)u (8.2.22) 
则 由 式 (8.2.21) 和 式 (8.2.22) 易 知 
FO) =A HEAP $0 Fe, A Fey (8.2.23) 


二 给 阵 多 项 式 f(a) 的 特征 值 。 
标量 x 的 宫 级 数 定义 为 er = 14 422/24 ma/3I 十 …。 类似 地 ,矩阵 A HR RA 
定义 为 . 
AIA A t= ga (8.2.24) 
假定 级 数 收 敏 。 着 矩阵 4 的 特征 值 为 和 ， 则 由 算 阵 多 项 式 的 特征 什 表 示 式 (8.2.29), 立即 
知 短 阵 的 指数 衣 数 04 的 特征 值 为 


IA = > fil = eè (8.2.25) 
i=0 


8.2.4 ”特征 值 和 特征 向 量 的 性 质 


前 面 分 析 了 特征 值 和 特征 向 量 一 些 典 型 的 性 质 。 事实 上 , I n xn REE (不 一 定 是 
Hermitian 矩阵 ) A 的 特征 值 具有 广泛 的 性 质 , 详 见 下 面 的 汇总 B24 。 

(1) nxn JES A 共有 n 个 特征 值 , 其中, 多重 特 征 值 按照 其 多 重度 计数 。 

(2) 车 4 是 实 对 称 和 矩阵 或 Hermitian 矩阵 ， 则 其 所 有 特征 值 都 是 实数 。 

(3) XTA KERE E H ERE RIR ET: 
@ # A = diag(aj 822- s ann) MAREN a4), 422,… ,ann。 
© E 4 为 工 角 矩阵 ,， 则 其 对 角 元 素 蚌 所 有 的 特征 值 。 

(4) 对 一 个 m x n MERE A: 

@ 若是 4 的 特征 值 , 则 A 也 是 AT 的 特征 值 。 

© FA 4 的 特征 值 , 则 a 是 48 的 特征 值 。 

图 EAE A 的 特征 值 , 则 入 +o? 是 Ato 的 特征 值 。 

@ 车 入 是 矩阵 A 的 特征 值 , 则 1/X SE A? 的 特征 值 。 
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(5) FESR A? = A 的 所 有 特征 值 取 0 或 者 1。 

(6) 车 A 是 实 正 交 算 阵 , 则 其 所 有 特征 值 为 1 或 者 -le 

(7) 特征 值 与 矩阵 奇异 性 的 关系 : 

O FAAR, 则 它 至 少 有 一 个 特征 值 为 0。 

@ 车 4 非 奇异 , 则 它 所 有 的 特征 值 非 零 。 a 

(8) 特征 值 与 迹 的 关系 : 矩阵 4 的 特征 值 之 和 等 于 该 矩阵 的 迹 , BSA, = tr(4)。 

(0) 与 不 同 特征 值 入 , 和,… sAn 对 应 的 非 零 特征 向 量 wa, us REER. 
(10) 特征 值 与 秩 的 关系 : 

名 Enx n HM AA > 个 非 零 特征 值 , 则 rank(A) = re 

@ #0 nxn Ki 4 的 无 多 重 的 特征 值 , 则 rank(A)= n- 1. 

® # rank(A— AD) Snl, A dA HIER A 的 特征 值 。 
(11) PAE SIT MRM KR: 矩阵 4 所 有 特征 值 的 乘积 等 于 该 矩阵 的 行列 式 ， 即 
TI>x = det(A) = 14]. 
(12) 一 个 Hermitian #18) A 是 正定 (或 半 正 定 ) 的 , 当 且 仅 当 它 的 特征 值 是 正 (或 者 
非 负 ) 的 。 
(13) 若 4 的 特征 值 不 相同 , 则 一 定 可 以 找到 一 个 相 人 矩阵 SAS = D (HAERE), 

其 对 角 元 素 即 是 矩阵 4 的 特征 值 。 

(14) Cayley-Hamilton 定理 : 车 Ap Xp An 十 n xn 矩阵 4 的 特征 值 , 则 


Ta -A,D =0 
i=l 


(15) n x n SRE 4 的 任何 一 个 特征 值 和 的 几何 多 重度 都 不 可 能 大 于 A 的 代数 多 
重度 。 
(16) 关于 相似 答 阵 的 特征 值 : 
@ 车 入 是 nxn JERE A 的 一 个 特征 值 , HH nxn HER B IRA, 则 和 也 古 矩 
BE B-14B 的 一 个 特征 值 ,但 对 应 的 特征 向 量 一 般 不 相同 。 
O # dA fi nxn MRE A 的 一 个 特征 值 , 并 且 m xm ERE B ERE, Wd 也 是 
矩阵 BSAB 的 一 个 特征 值 , 但 对 应 的 特征 向 量 一 般 不 相同 。 
@ FA E nxn MB 4 的 一 个 特征 值 , 并 且 nx n SEE B BEZE, 则 A 也 
是 矩阵 BTAB 的 一 个 特征 值 , 但 对 应 的 特征 向 量 一 般 不 相同 。 
(17) 一 个 nxn 矩阵 A = [os] 的 最 大 特征 值 以 该 矩阵 的 列 元 素 之 和 的 最 大 值 为 界 ， 
BI Amex S max > aige 
j=1 
(18) 随机 向 量 = 的 = los (0), 2al) = tq)" 的 相关 矩阵 R = Efo) 的 特征 
值 以 信号 的 最 大 功率 Prax = maxE({(|2,(#)|?} 和 最 小 功率 Pain = min, E{|x,(t)|?} 
AR, 即 有 


Prin <A; S Prax (8.2.26) 
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(19) 随机 向 其 x(#) KER R 的 特征 值 散 布 (eigenvalue spread) 为 
X(R) = 3 (8.2.27) 
(20) 关于 绝对 值 小 于 1 的 特征 值 : 
O EJAJ <1,1=1,2,---,n, WM AST, 非 奇 异 。 
® JA] < 1,4 =1,2,---,n <=> dct(4 一 z1,) 0 的 根 不 可 能 位 于 单位 阅 . 上 或 单位 
外 。 
(21) 关于 m xn (n > m) ER 4 与 nx m SER B 乘积 的 特征 值 : 
© F A 是 短 阵 乘积 AB 的 特征 值 , 则 和 也 是 BA 的 特征 值 。 
© B40 是 矩阵 乘积 BA 的 特征 值 , 则 和 也 是 AB 的 特征 值 。 
@ BALA Am 起 矩阵 乘积 AB 的 特征 值 , 则 矩阵 乘积 BA 的 n 个 特征 值 为 
0 
(22) AEN A 的 特征 值 为 和 , 则 矩阵 多 项 式 f(A) = Aa AT H +o, Ato 
的 特征 值 为 


人 = 和 十 cm 十 二 Cn 二 en (8.2.28) 
(23) EERE A 的 特征 值 为 X， 则 和 矩阵 指数 函数 e^ 的 特征 值 为 e。 
性 质 (13) Sil TREIE 4 的 特征 值 的 相似 变换 方法 。 此 时 , 通常 选择 相似 变换 矩阵 


S 为 正 交 矩阵 。 


下 面 概括 了 特征 值 A 与 特征 向 其 组 成 的 特征 对 (X,w) 具有 的 性 质 C. 

(1) 若 Ou) 是 矩阵 A 的 特征 对 ， 则 (cd, u) 是 矩阵 cA 的 特征 对 ， 其 中 ，e WARE 
的 常数 。 

(2) 若 (Au) 是 矩阵 A 的 特征 对 ， 则 (A, cw) 也 是 矩阵 A 的 一 个 特征 对 , 其 中 ,c 为 
非 零 的 常数 。 

(3) 车 Ou) 和 (Apsu) 分 别 是 矩阵 A 的 特征 对 , 并 且 A, AA, 则 特征 向 量 w 与 
u; 线性 无 关 。 

(4) Hermitian 算 阵 与 不 同 特征 值 对 应 的 特征 向 量 相互 正 交 ， 即 对 于 A, AA, A 
ulu, = 0 

(5) HOA 是 矩阵 A 的 特征 对 ， 向 其 u 和 u, 分 别 是 与 和 对 应 的 特征 向 量 ， 则 
cu + czuz 是 矩阵 A 与 特征 值 和 对 应 的 特征 向 量 , 其 中 , c, 和 cs 为 常数 ,并 
且 至 少 有 一 个 不 等 于 0。 

(6) # Ou) BE A 的 特征 对 ， 并 且 aonan ,ap BABB M fA} = ao 十 
Att ap 和 是 矩阵 多 项 式 f(A) = aoT ta, A+--+0,A? 的 特征 值 ， 与 
之 对 应 的 特征 向 量 仍然 为 ue 

(7) Æ (Na 是 矩阵 A 的 特征 对 ， 则 (AF, u) 是 矩阵 AF 的 特征 对 。 
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(8) $F (A, u) 是 矩阵 A 的 特征 对 , 则 (eò, u) 是 矩阵 指数 函数 e^ 的 特征 对 。 
(9) Æ ACA) Al ACB) 分 别 是 矩阵 A 和 B 的 特征 值 , 而 u(A) 和 uB) 分 别 是 与 特 
征 值 X4) 和 XB) 对 应 的 特征 向 量 , 则 
© X4)A(B) 是 矩阵 Kronecker 积 A & B 的 特征 值 ， 并 且 u(A) @u(B) 是 与 特征 
48 A(A)A(B) 对 应 的 特征 向 基 。 
@ AA) MB) 分 别 是 矩阵 直 和 ASB 的 特征 值 , 与 它们 对 应 的 特征 向 量 分 别 为 
[ao 
u(B) 
(10) Æ n x n HERE A A n MEMORIA, JA 的 特征 值 分 解 为 
A=uUsU" (8.2.29) 


式 中 , nx n FER (eigen matrix) U 由 矩阵 A 的 n 个 特征 向 量 组 成 , nn xn 
对 角 和 矩阵 E 的 元 素 为 4 的 特征 值 。 

(11) $ B 十 一 个 秩 等 于 1 的 nxn 矩阵, 其 特征 值 为 \, 特征 向 量 为 w M 

1 


(B+ aly = aul + ir- Eut 
= ir - a (8.2.30) 
SERE 4 的 奇异 值 问题 往往 转化 为 相应 矩阵 的 特征 值 问题 求解 。 实现 这 转化 有 两 种 


主要 方法 ; 

方法 1 矩阵 Amen 的 非 零 奇异 值 起 m x m 矩阵 AAT RA nxn KE ATA 的 非 
零 特 征 值 .入 ; 的 正平 方 根 , 并 且 4 与 m 对 应 的 左 奇异 向 量 wj 和 右 奇异 向 量 w 分 别 是 
矩阵 AAT 和 ATA 与 非 零 特 征 值 X 对 应 的 特征 向 量 。 
方法 EE Amen 的 奇异 值 分 解 转化 为 (m +n) x (m+n) REE 


[ 0 引 (8.2.31) 


A O 


的 特征 值 分 解 。 
定理 8.2.1 (Jordan-Wielandt 定理 )[talTheorem 14.2] AF o, > 0o B+ 2 Opi Z Op 
是 4,,x 的 奇异 值 (其 中 , p= min{m, nj) MERR ERRAR IEE 


一 


| 一 mn 个 


与 to; 相对 应 的 特征 向 量 为 


Emën 则 另 有 特征 向 量 


> 0 
H n+1<j<m 或 fel: mt1<jen 
Í. 
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分 别 取决 本 m > n 或 者 m <n. 
定理 8.2.1 启迪 了 使 用 增 广 算 阵 的 特征 值 分 解 计算 矩阵 4 的 奇异 值 分 解 的 一 类 方法 。 
例如 ， 通 过 对 Jacobi-Davidson 算法 加 以 推广 ，Hochstenbach 于 2001 年 提出 了 Jacobi- 
Davidson 型 奇异 值 分 解 算法 Pl, 
关于 矩阵 之 和 A+B 的 特征 值 , 有 下 面 的 结果 。 
定理 8.2.2 (Weyl 定理 )270 KEA, B e CPX? 是 Hermitian 矩阵 ， 电 特 征 值 按照 递 
增 顺 序 排列 : 
AA) 和 Me(4)S Sn(4) 
A (B) < M(B) <--- <A, (B) 
A (A+ B) <o(A+B) <-- <à (A+B) 


则 
和 (A)+AB) 
NA+B)> | 和 -1(4) + hlB) (8.2.32) 
à (A) +A; (B) 
和 
A(A) + M(B) 
A(A+B) < | (人 十 ni) (8.2.33) 
An(A) + ,(B) 
HH, i= 1,2,.…. ,ns 


特别 地 ， 当 A 为 实 对 称 矩 阵 ， 并 县 B= ezzz7,， 则 有 下 面 的 交织 特征 值 定理 (inter- 


lacing eigenvalue theorem) 184, Theorem 8.1.8] , 


定理 8.2.3 4 A cR” 是 一 对 称 矩 阵 ， 其 特征 值 Xi, Xe，…… An 满足 


> (8.2.34) 


HY ze r 是 一 向 量 , 其 范 数 ||z|| = 1. 假定 a 为 一 实数 , EEE 4+azzT 的 特征 值 


[SE (8.2.35) 
则 
外 > 为 名 > 知名 Xp， 车 sa>0 (8.2.36) 
或 者 
Mi aE DMF, Hax<d (8.2.37) 


HHEH o> 0 还 是 ae < 0, WH 
Da -=a (8.2.38) 


i=l 
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8.2.5 矩阵 的 可 对 角 化 定理 
一 个 矩阵 的 规范 化 表示 称 为 该 矩阵 的 范式 。 现 在 考虑 使 用 特征 值 和 特征 向 量 表示 的 
和 矩阵 范式 。 为 此 , 先 分 析 和 矩阵 的 秩 与 多 重 特征 值 之 亲 的 重要 关系 。 
引 理 8.2.4 Ë nxn 矩阵 4 的 秩 为 ra EAH 2, PERE, 则 
TaARN—Zy, (8.2.39) 


HAREM RT aa ER. 
引 理 8.2.5 HA, Æ nxn se 4 的 多 重 特征 值 , 并 且 其 多 重度 为 me W 


rank(A — A, J) > n- my (8.2.40) 


以 上 两 个 引 理 的 证 明 可 参考 文献 [411, p.306]. 
F 面 考虑 如 何 对 一 个 正方 矩阵 进行 相似 变换 , 将 它 变 成 对 角 短 阵 。 
如 前 所 述 , 任意 正方 矩阵 A 的 每 一 个 特征 值 A; 都 有 一 个 相对 应 的 特征 向 量 w 满足 


at 一 At， 2 (8.2.41) 
这 一 方程 组 也 可 合 写 为 
A 0 
aaa sn) = [thy tgs y ttn] . (8.2.42) 
0 An 
定义 矩阵 
U = [ty tgs Un] (8.2.43) 
BD = diag( An sÀn) (8.2.44) 
则 式 (8.2.42) 可 以 简写 作 
AU =UF (8.2.45) 
BER U 非 奇异 , NA 
UAU = X = diag(, àze An) (8.2.46) 


ROARS MAE D 称 为 矩阵 A 在 相似 下 的 范式 (canonical form under 
similarity) 或 简称 为 相似 范式 (similar canonical form) [alP283 , 

定义 8.2.4 一 个 nxn 实 和 矩阵 4 若 与 一 个 对 角 手 阵 相 似 ,， 则 称 矩 阵 4 起 可 对 角 化 
的 (diagonalizable). 

下 面 讨论 可 对 角 化 矩阵 的 某 些 特征 。 

定理 8.2.4 一 个 nxn KER A 是 可 对 角 化 的 , SHR A 共有 个 线性 无 关 的 
特征 向 量 。 
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证 明 (1) 充分 条 件 的 证 明 : 假设 uta uy 是 矩阵 4 的 n 个 线性 无 关 的 特 
(Emm, BNA Au, = Auni = 1,2,---,no SHR S = [ui tin] 由 特征 向 量 
aa Uy, 组 成 。 由 于 这 些 特征 向 量 相互 线性 无 关 , 矩阵 S 为 非 奇 异 矩 阵 ， 其 逆 矩 阵 
So 存在 。 根据 道 和 矩阵 的 定义 知 5-15 = [Su Su ,5S lan] = 了。 另 一 方面 , 由 
Au; = 和 iti 易 知 


AS = [Au,, Atg , Atty) = [yt Agtign y Anity] 
上 式 左 乘 道 矩阵 Sot, 则 有 


SAS = 5 ,MS eg, - A S Lan] 


ay 0 
do 1 1, -1 
= [S e, Sth, ++», ST n] 
0 An. 
A 0 Dy 0 
入 入 
= 2 I= 2 
0 和 0 An, 


即 充分 性 得 证 。 
(2) 必要 条 件 的 证 明 : OH A SAME DD 相似 , 即 SAS = 五。 由 此 得 
AS = SD. i S = [es ,sh D = diag(d dp), I AS = SD 可 以 写作 


[As1, As," ,Asn] = [dy 91, 4282,°-- dn Sq 


立即 有 
As; = 二 8， -12 
这 说 明 矩 阵 S 的 刻 向 量 si EERE 4 的 特征 向 量 ww;, 即 9, = ws, 4 = 12 ,n。 但是， 
由 于 矩阵 S 非 奇 异 , 所 以 其 所 有 列 向 其 线性 无 关 , 从 而 知 ut, Un 线性 无 关 。 这 就 
证 明了 必要 条 件 。 a 
由 于 一 个 nx n RE n 个 不 同 的 特征 值 时 , 它 的 n 个 特征 向 量 线 性 无 关 , 所 以 定 
理 8.2.4 给 出 下 面 的 推论 。 
推论 8.2.2 Æ nx nH AH n ADARRE, A 是 可 对 角 化 的 。 
更 一 般 地 ,即使 矩阵 A 具有 多 重 根 , 它 仍然 有 可 能 是 可 对 角 化 的 , 因为 4 的 个 
特征 向 量 有 可 能 是 线性 无 关 的 。 下 面 的 定理 给 出 了 和 矩阵 的 所 有 特征 向 量 线性 无 关 的 充分 
必要 条 件 ， 从 而 也 是 一 个 矩阵 可 对 角 化 的 充分 必要 条 件 。 这 一 定理 常 被 称 为 可 对 角 化 定 
理 (diagonability theorem). 
定理 8.2.5 FIERE A € OX" 的 特征 值 A, 县 有 多 重度 mpk = 1,2,… ,p， 并 
且 Som, = n WEE 4 具有 个 线性 无 关 的 特征 向 量 ， 当 且 仅 当 rank(4 - Ad) = 


k=1 


8.2 特征 值 与 特征 向 量 473 


n—m,,k=1,2,---,p. 此 时 , AU = US 中 的 矩阵 U 是非 奇异 的 , 而 且 A 可 对 角 化 为 
U"AU =. 

证 明 [411.9071 (1) 充分 人 性: 车 rank(A—A, ID) =n- my WU 是非 奇异 的 。 其 证 明 
如 下 。 

因为 rank(4 — A.D) =n—m,, 所 以 方程 (4 一 和 Dz = 0 恰好 有 nn 一 (n 一 ms) 个 线 
性 无 关 的 非 零 解 。 根 据 定义 , BERERE 4 与 特征 值 入 对 应 的 特征 向 量 。 因 此 , 与 每 
一 个 An 相对 应 的 mx 个 特征 向 二 是 线性 无 关 的 ,它们 组 成 一 个 线性 无 关 的 集合 。 丁 是 ， 
共有 与 p 个 多 重 特征 值 对 应 的 特征 向 量 集合 , 每 个 集合 内 的 特征 向 量 线性 无 关 。 

下 面 用 反 证 法 证 明 不 同 集合 的 特征 向 量 也 是 线性 无 关 的 。 不 失 一 般 人 性 ,假定 与 多 重 
度 为 m, 的 特征 信 A, 对 应 的 特征 向 其 集合 为 {vY ,ym,}， 与 多 重度 为 ma 的 特征 
信 Aa 对 应 的 特征 向 量 集 合 为 {z1, za …… ,zm,}: 并 假定 za 是 第 一 个 集合 Y Yo Yn, 
的 线性 组 合 。 丁 是 ， 有 z= San (SEP, o 不 全 为 等)。 AE A 左 乘 这 -线性 关系 

at 


公式 , 得 Az = Yadys. 由 于 za 和 y, DALE SA PEE Aa 和 A, 对 应 的 特征 向 


i=l 


量 ， 故 有 Az = azg 和 AY, = 入 Wi。 将 这 天 个 关系 代入 式 Azz = Y coAys 中 , 立即 有 
所 


m m 
Azz2 = Pedy =M Sa = jz 
i=] i=l 


从 而 有 Ag = Azo (AR, 这 一 结果 与 dy Z Ag RBA. 因此 , p MEA (每 个 集合 有 
m, 个 特征 向 量 ) 内 的 所 有 》 m, =n 个 特征 向 量 线性 无 关 , WHER U = [up tap, ++, Un] 
非 奇异 。 充分 性 得 证 。 。 
(2) 必要 性 : # UAU = E 存在 , W rank(A -— AE) = n- mpo 其 证 明 如 下 。 
注意 到 5 ENAERE, 其 对 角 元 素 为 所 有 n 个 特征 值 。 因 此 ， 对 角 矩 阵 (五 一 入. 了 
的 对 角 线 上 只 有 m, SBIR, B rank( 呈 一 和 了 ) =n- m RABB UAU = 五 得 
A=USU", 于 是 , A (A-AD) =(UEU1- AD =U -A DU. 由 于 与 非 奇 
FER U FASS. 不 改变 矩阵 的 秩 , 故 有 rank(A4 一 和 了) =rank( 罗 一 和 了 =n 一 me。 国 
这 里 举 出 一 个 例子 , 用 以 说 明定 理 8.2.5 的 应 用 。 
例 8.2.3 考虑 矩阵 
A= lo il 
01 


BEE ME AIS T 能 够 使 4 对 角 化 , BH 


igap Pr 9 
T ar-f N 


MT 的 列 向 基 必 须 是 A 的 特征 向 量 。 WERE 4 的 特征 方程 


1-A Ij ya 
i iifea y= 
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得 4 的 特征 值 = ) =1, 为 二 重 特征 值 。 令 特 征 向 量 为 w = [u u)", 则 由 Au = Mu 
及 入 =1, 可 列 出 方程 组 
Uy 十 2 = uy 


Ug = tig 


解 之 , 得 ua = 0. u 任意 , 换言之 , HaZo, Ma [| 都 是 矩阵 A 的 特征 向 量 , 即 A 
的 任何 两 个 特征 向 基 都 是 线性 相关 的 。 这 意味 着 , EE T 必定 是 麻 异 年 阵 。 因此 , 不 可 
能 通过 TAT 将 例 中 的 短 阵 A 对 角 化 。 事实 上 , 对 丁 特征 值 = 1 而 言 ， 其 多 重度 
m = 2。 因 此 , 根据 定理 8.2.5 知 ,只 有 当 rank(A — AZ) =n—m, =2-2=0 F}, 矩阵 
A 是 可 对 角 化 的 。 然 而 , 现在 由 于 


1 1 Po Jo x 
A-M= l 1 一 l 引 = l al 
其 秩 等 于 1, 与 定理 8.2.5 的 条 件 直 接 相 了 矛盾, 所 以 检验 定理 8.2.5 的 条 件 直 接 知 , 本 全 的 
矩阵 不 可 对 和 角 化 。 


8.3 Cayley-Hamilton 定理 及 其 应 用 


如 上 节 所 述 , 一 个 nxn BIERE A 的 特征 值 由 特征 多 项 式 det(4 - A) 决定 。 不 
仅 如 此 , 特征 多 项 式 还 与 矩阵 的 求 逆 、 甜 阵 第 和 矩阵 指数 函数 的 计算 密切 相关 , 所 以 有 必 
要 对 特征 多 项 式 作 更 深入 的 讨论 与 分 析 。 


8.3.1 Cayley-Hamilton 定理 


Cayley-Hamilton 定理 古 关 于 一 般 矩 阵 的 特征 多 项 式 的 重要 结果 。 从 这 一 定理 出 发 ， 
很 容易 解决 矩阵 的 求 赣 、 矩阵 守 和 和 矩阵 指数 冰 数 的 计算 等 问题 。 为 了 引出 Cayley-Hamilton 
定理 , 先 介绍 几 个 与 多 项 式 有 关 的 重要 概念 。 

当 ps 关 0 时 , n 称 为 多 项 式 p(z) = pas" + pait! 十 … 十 Pz 十 po 的 阶 数 。 一 个 
n 阶 多 项 式 称 为 首 一 多 项 式 (monic polynomial), 若 ° 的 系数 等 于 1。 

E p(A) = pA" + Pa pA +--+ AHI = O, MAK ple) = pas” 十 pa lzn 1 + 
s+ Dt + po 是 使 矩阵 4 零 化 的 多 项 式 , 简称 零 化 多 项 式 (annihilating polynomial). 

对 于 一 个 nx n SORE A, 令 m EERE IA, A" 线性 相关 的 最 小 整数 。 于 是， 


有 方程 式 


PA” + Bp A +--+ A+ pol = Onxn (8.3.1) 


RF, A” 的 系数 不 为 零 。 SHR plz) = Pm!” +P_ ie? 1 +--+ pet po MASE A 


的 最 小 多 项 式 。 
下 面 的 定理 表明 , 特征 多 项 式 p(z) = det(A- 2k) 是 使 矩阵 Anxa 零 化 的 多 项 式 。 
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定理 8.3.1 (Cayley-Hamilton 定理 ) ”每 一 个 正方 矩阵 Anen 都 满足 其 特征 方程 , 即 
车 特征 多 项 式 具 有 式 (8.1.7) 的 形式 , 则 


DprA” +p, ld" 1 +.--+pAtmr=O (8.3.2) 
RP, TAO 分 别 为 nxn BURA. 
TEAR AOR KAR B7 = garpedi) 可 以 等 价 写作 Badj(B) = det(B)I,， 


故 有 
(A ~ 2B)adj(A — zF) = det(A ~ zDI 


将 plz) = det(A — zI) =p, 2° +p, 2"! ++ + pe + pg RAER, 便 有 
(A~ aD )adj(A — £I) = (pz 十 pa lz 十 .十 Diz 十 po) 工 o) 


上 式 表明 , 伴随 矩阵 adj(A — 21) 必然 是 一 个 关于 z 的 n 一 1 WSR, 不 妨 令 其 为 


adj(4 — z1) =a" B,_,+2"°B, 2+-..+zBi+ Bo (2) 
RF, By Big) By, WA nxn WEGE. 将 式 (2) RAR (1) 得 
(A230 B,_ +2"? B,_» +--+ + 2B, + By) 
= (Ppt + Py sth te + pis + poh 
HR ESRI zz 的 系数 , 即 可 得 到 n +1 个 方程 : 
-Bni = Pal 
—B, 2+ AB, 1=p,_1T 


-Bı + AB, =p 


~ABy = Pol 
在 上 述 前 n 个 方程 中 ,两边 分 划 左 乘 矩 阵 A”, AP!" A, 然后 将 所 有 n+1 个 方程 相 
加 , 立即 有 O = pn4" +p, 14°? H Ap Atp 这 正 是 所 期 望 的 结果 。 a 


以 上 证 明 是 大 多 数 文献 采用 的 传统 证 明 方 法 。 最 近 , Jain 与 Gunawardena MAJERES) 
解 的 角度 , 给 出 了 另外 一 种 证 明 。 对 此 证 明 感 兴趣 的 读者 可 参考 文献 [236, p.180]. 

Cayley-Hamilton 定理 有 很 多 非常 有 趣 和 重要 的 应 用 。 例 如 ， 利 用 Cayley-Hamilton 
TE, 也 能 够 直接 证 明 两 个 相似 和 矩阵 具有 相同 的 特征 值 。 

考查 两 个 相似 矩阵 的 特征 多 项 式 。 令 B= SAS 是 A 的 相似 矩阵 ， 并 且 已 知 
Me A 的 特征 多 项 式 plz) = det(4 — s1) = pz” + py ye" +--+ pet Poo 根据 
Cayley-Hamilton 定理 知 p(A) =p, A" +p,_, A") + +p, At pol =O 

对 于 相似 矩阵 B, HT 

BF = (S-148)(5-145S).…(S-145) = 3S-L4kS 
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BA 


P(B) = pr 再 "十 pn 1B" +--+ py B+ pol 
= p,SA"S +p, STATIS ++p SAS + pol 


= S (p A" + Pp A” +e +P A+ Dal) S 
一 号 -1p(4)S 
=O 
在 得 到 最 后 一 个 式 了 时 , RAT Cayley-Hamilton 定理 的 结果 pA) = O。 换言之 ,两 个 
相似 矩阵 具有 相同 的 特征 多 项 式 ， 从 而 它们 具有 相同 的 特征 值 。 
F 面 再 介绍 Cayley-Hamilton 定理 的 几 个 重要 应 用 。 
8.3.2 ” 逆 矩 阵 和 广义 逆 矩 阵 的 计算 
ATE Anea EAR: 则 用 AM? ER (RER) 式 (8.3.2) 两 边 , 立即 有 


Py AP + py AP? + + pA + PI + pA? =O 
BEET pS RE A 


1 
Al= -元 on + Pp A? t- Hp Atp) (8.3.3) 
o 


例 8.3.1 TAHERE 


其 特征 多 项 式 为 


z 5 


deça -oD =| gg 26-2) 5x40 - Te 4 


即 po = 一 14, pl = —7) Po = Lo 将 这 些 值 代入 式 (8.3.3)， 立 即 得 


和 人 下- 


例 8.3.2 HERE 


mao -ao 
1 
Ek 

uo 
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和 特征 多 项 式 


2-2 0 1 
0 2-2 0 
0 0 3-2 


= —r° + 72° — 162+ 12 
BI po = 12, py = -16, py = 7%) ps = -1。 将 这 些 值 连同 惩 阵 A, A? 一 起 代入 矩阵 求 道 公 
sh (8.3.3), 则 有 


det(A — zF) = = (2—2)°(3 — 2) 


Ata -5 (-A?+7A-— 161) 


1 4065 201 100 
= ig 7 0 4 0/+7)/0 2 0| -16/0 1 0 
009 003 00 1 


Cayley-Hamilton 定理 还 可 以 用 于 求 任意 一 个 复 窍 阵 的 广义 道 矩 阵 。 这 一 结果 是 De- 
cell 于 1965 年 得 到 的 MS 
定理 8.3.2 GH A 是 任意 一 个 m x nm MERE, FES 
FOA) = (DUA 十 OA TH tag Aten), 00=1 (8.3.4) 


是 矩阵 乘积 A AM 的 特征 多 项 式 (448 - M). Æ k 是 满足 ak 40 的 最 大 整数 , 则 A 的 
广义 道 矩 阵 由 
At = az A" [aay +a (AA? +... 4 apal AA) + api 如 (8.3.5) 


确定 。 当 大 = 0 HIE ap #0 的 最 大 整数 时 , [SORE AT = O。 
证 明 ”参见 文献 [L16]。 
在 有 些 文献 (例如 文献 [425]) P, 称 上 述 定理 为 Decel 定理 。 注 意 ,， Decel 定理 中 的 


整数 大 就 是 矩阵 A 的 秩 , BN k= rang(A). 
根据 上 述 定 理 , Decell 提出 了 计算 Moore-Penrose 道 矩 阵 的 下 列 方 法 MS, 


(1) 构造 矩阵 序列 Ao, Ais- p Ar 


A, =O, -1 = gp, 五 0 一 五 
A, = AAÄË, tr(Ay) = 41, B,=A,- af; 
tr(A, 
A, = AA", Aa) L gp, By = 4, ~ ool; 
tr(A,_. 
Arn AA" B,- (Ae) =O Bp-i = Aga — GT; 
uA 
A, = AAB, wy) - Fes By = Ak- aI 


k 
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Faddeev 证 明了 (49,p0.200~265], 按照 以 上 方法 构造 的 系数 q = -ai = 
1,2, ,ke 
(2) 计算 Moore-Penrose W4E BE 
At = az AH [eaan +a (AAF)? 十 十 ak (AAP) asar] 
= or!ANB, 1 (8.3.6) 


83.3 BRR 
给 定 任意 一 个 矩阵 4。x。 和 一 个 整数 k, 称 4* 是 矩阵 4 AY k RE MS k 
Ky SARA AP 的 计算 是 一 件 很 繁琐 的 事 。 幸 运 的 是 ，Cayley-Hamilton 定理 为 这 个 
问题 提供 了 一 种 简单 的 解决 方法 。 
考查 多 项 式 除法 f(x)/g(z), 其 中 , g(z) #0- 根据 Euclidean 除法 知 , 存在 两 个 多 项 
R gtz) 和 r(z), 使 得 


F(z) = g(x)a(z) + r(x) 
式 中 , gle) Mi r(x) 分 别称 为 商 和 余 项 , 并 且 余 项 r(z) 的 阶 数 小 于 g(z) 的 阶 数 或 r(x) = 0。 
SHIRE A 的 特征 多 项 式 为 


P(t) = Pa” + Pa 127! +--+ + Py + Dy 
则 对 于 任何 一 个 z, HK RE 
TK = p(z)g(x) + F(z) (8.3.7) 
4 z 是 特征 方程 plz) = 0 的 一 个 根 时 ， 上 式 变 为 
ak = r(x) = rg trate try ott (8.3.8) 


BA r(x) 的 阶 数 小 于 p(z) 的 阶 数 no 
A 代替 标量 r, MIÈ (8.3.7) BA 


AX = p(A)g(A) + r(A) (8.3.9) 


根据 Cayley-Hamilton 定理 知 , # p(x) 十 矩阵 A 的 特征 多 项 式 , W p(4) =O. 因此 , X 
(8.3.9) 简化 为 ， 
4 一 人 AL) argh tn Ate tr At? (8.3.10) 
式 (8.3.10) Bui T WHERE AK 的 方法 。 

算法 8.3.1 (FEREMENTH HH) I86 172) 

FRI 构造 特征 多 项 式 


p(a) = det(A — £F) =p,2" + ppi"! +- + pE + Po (8.3.11) 
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步骤 2 计算 特征 方程 p(x) = 0 的 n 个 特征 根 即 特征 值 axXa,…- 
步骤 3 将 特征 值 代入 式 (8.3.8), 得 到 一 组 线性 方程 : 
ToT 和 tr 
ret Agr, ti tAR rp = AE 
(8.3.12) 


To t Apri te FAR AR 


解 之 , Brot rn-ls 


PRA 计算 矩阵 里 
AM Sol trAt. fr At 
下 面 举例 加 以 说 明 。 
例 8.3.3 BA / 
1 172 
4 
计算 A 


解 利用 式 (8.3.11) 构造 特征 多 项 式 


i-z 1/2 


p(n) = det(A ~ 21) =| 2 1-2 =g ~2r 


p(x) = 0, 求 出 A 的 特征 值 A =0 MA, = 2. 
ER (8.3.12) 得 线性 方程 组 
Ta +07 = 0731 
ry + ary = 2731 
解 之 , 得 ro 二 0 Ar, = 27, 
计算 矩阵 宕 。 得 
AT! 97804 — 2730 if 全 = [Fra 2 


8.3.4 ”和 矩阵 指数 函数 的 计算 
类 似 于 标量 指数 函数 
et altatt go + 4G Lakta 
HARAR 4， 可 以 定义 矩 星 指数 函数 (matrix exponential function) 


1 
4 了 十 Att get tet pane + (8.3.13) 
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由 于 
2 
eDi agya tpj ATE ey. (8.3.14) 
242 242 
e4teBt 一 (race SE + =) (r+ H+ E+) 
Ate Be? 
=1I+(A+B)t += + ABE +—— +- (8.3.15) 
两 式 相 减 , 得 a 
of A+B) — eAteBt = (BA — AB)S to (8.3.16) 
因此 , (AtB — eAteBt 只 对 AB = BA 成 立 。 
容易 看 出 
e2 -ecoo 1, goat = Ae^t 


FEE RL BOT Ra A. 在 工程 应 用 中 ,经 常会 遇 到 线性 一 
阶 微分 方程 组 
£{t) = Ax(t), zf0) = wo 
H, 4 为 常数 矩阵 。 上 述 一 阶 微分 方程 组 的 解 可 以 写作 a(t) = etary. 因此 , 线性 一 阶 
微分 方程 组 的 求解 等 价 于 计算 矩阵 指数 函数 e4t 。 
利用 Cayley-Hamilton 定理 , 可 以 证 明 n 阶 线性 矩阵 微分 方程 的 解 的 唯一 性 。 
定理 8.3.3 令 4 赴 一 个 nxn 常数 短 阵 , 其 特征 多 项 式 为 


p(d) = det (AI — A) = A" +e, ATI 4+ À + Co (8.3.17) 
HH n 阶 和 矩阵 微分 方程 
BO (t) + ep1 BOY) +--+, FH + eg Bt) = O (8.3.18) 
满足 初始 条 件 
SO)=1, (0)=A, $0)= A e, p07) = A” (8.3.19) 


则 B(t) = e4 是 n MEAD AAR (8.3.18) 的 唯一 解 。 

证 明 279) 令 更 (的 和 H(t) 是 n 阶 矩 阵 微分 方程 的 两 个 解 ， 并 令 Se) = S(t) 
D(t) AY S(t) 满足 矩阵 微分 方程 式 (8.3.18), W SH) 的 每 一 个 元 素 办; 的 都 满足 标 
量 微分 方程 

APE) + ep 1G P+ ayl + codig(t) = 0 (1) 
又 由 于 解 B1(t) 和 Pt) 都 满足 初始 条 件 式 (8.3.19)， 故 有 更 (0) = 8'0) = … = 
BD (9) = O,， 即 S0) 的 每 一 个 元 素 都 等 本 零 , 即 有 


uO = 44,00) = = 8 PO) =0, Vij (2) 
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求解 具有 初始 条 件 式 (2) 的 标量 微分 方程 式 (1), 得 4,,(t) =0,Vt ER, 1,7 =1,2,---,n0 
因此 , 60) =O0,Vtie R, Wl S(t) = (2). 
现在 令 A 为 -nxn ROEM, HARES TR 


p(A) = det(AT — A) = A” +6, A +--+ FA +ey 
车 Gt) = e^, 则 

Bt) = Ae, P'(t) = AeA... , P(t) = re 全 (3) 
T, 由 Cayley-Hamilton 定理 知 

E(t) + on 1B NE) + to g(t + BLY 

=(A" + ep AP +--+ A+ De® = pAet 

=O 
这 恰好 是 矩阵 微分 方程 式 (8.3.18)。 又 由 式 (3) A 

更 (0) =I, #(0) = A, $"(0)= 42，，… ， 更 10) = AD? 


此 式 即 是 初始 条 件 式 (8.3.19)。 因 此 ,更 ( = e4 是 满足 具有 初始 条 件 式 (8.3.19) 的 矩阵 


微分 方程 式 (8.3.18) 的 解 。 E 
定理 8.3.3 (RIE TIERA AEE ARE EE. KETA EA H T RE 


解 的 方法 。 
定理 8.3.4 FART nxn 常数 矩阵 ,其 特征 多 项 式 为 
PA) = det (MT — A) = A? + cp NA+ H GAF Co 
则 满足 初始 条 件 式 (8.3.19) 的 矩阵 微分 方程 式 (8.3.18) 的 解 由 


D(t) = e^ (T+ rlt) A + r(t) A? +--+ 2, (A (8.3.20) 


给 出 , 式 中 , zx 的 是 n 阶 标量 微分 方程 


LE) + en rE) +- ton) + corlt} =0 (8.3.21) 
满足 初始 条 件 
2,(0)=1 2,(0) =0 zn(0) =0 
zi(0) =0 (0) = 1 w/,(0) = 0 
2-D@) 20 af (0) =0 o@—D(Q) =1 


的 解 。 
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证 明 [za 令 2, (t),a9(t),--- ,mr 的 是 mm 阶 标量 微分 方程 (8.3.21) 满足 定理 初始 条 
件 的 唯一 一 组 解 , 并 令 


G(t) = æ (t) + rat) A + 7A? +- + p(t) A” a) 
则 
BO) + en BOVE + +a D(t) + oB (t) 
= [EP + eo rah ME) + + nile) + cora C)+ 
PE) + enaa TA ++ Henle) + coza(D)]A+ .+ | 
BOO + eq a2 PW) Fo Feel + otalt) A | 
=0T+0A4+...+0A"! 
即 有 


Dt) +o, SOMO + +e, Pt) +e) =O, vteR (2) 
将 定理 初始 条 件 代 入 式 (1) 及 其 1,2,… ,n 一 1 阶 导数 , 义 有 

更 (0) = z, (0)F + x, (0)A +: + £p (0) A71 =F 
#'(0) = cL + 250) A + + rh (0A = A @) 

B-D (0) = al (0) + APM OAt + 0) A" 1 = A 

此 ， 由 式 (1) SRA S 是 满足 具有 初始 条 件 式 (3) 的 矩阵 微分 方程 式 (2) HR. 
根据 定理 8.3.3 知 ， 这 个 解 是 唯一 的 。 又 因为 式 (1) MAGI A, WR (1) 即 是 式 
图 


(8.3,20), 定理 得 证 。. 
A (8.3.20) 给 出 了 计算 矩阵 指数 并 数 e^t 的 一 种 有 效 方法 。 


例 8.3.4 已 知 和 矩阵 
101 
A= f 1 | 
002 
利用 定理 8.3.4 R eA, 
解 根据 矩阵 4， 可 以 写 出 相对 应 的 标 基 微分 方 称 组 
Eaa =g+0y +z 
ao =0r +y + Oz 
#0 = Or + Oy + 22 


由 特征 方程 det(XI 一 A) = 0 REER A 的 特征 值 A, = 1 Az = 1,Xs = 2, 即 特征 值 1 的 
多 重度 为 2。 
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由 定理 8.3.4 5, MRR 
e^t = m (t)I + ag(t)A + 25(t)A? 
式 中 ,zi(b,za(b,zs(b 是 三 阶 标量 微分 方程 


al" (t) + er’ (D+ er (t) + cor(t) = 0 


2,(0)=1 x2(0) =0 23(0) =0 
4 (0) “+. x2(0) = | zozo 


xi (0) =0 (0) =0 (0) = 1 


满足 初始 条 件 


的 解 。 
由 于 和 矩阵 A 的 特征 值 Ay = 1A = 1,Xs = 2 知 ， 标 基 微 分 方程 st + oaz” lt) + 
cm’ (t) + coz(t) = 0 的 通 解 由 


z(t) = ate + age’ + aze” 


给 出 。 
由 上 述 通 解 公式 易 得 以 下 结果 : 
(1) 将 初始 条 件 z1(0) = 1,2 (0) = 0,27 (0) = 0 代入 通 解 公式 , 得 


ae 十 as 一 工 al = 一 2 
| al 十 az 十 2as=0 +> 区 
2a, + az + 4a; = 0 
即 满足 初始 条 件 x, (0) = 1,24 (0) = 0, s7 (0) = 0 的 特 解 为 
z(t) = 一 2tet + e” 
(2) 由 初始 条 件 zz(0) = 0,25 (0) = 1,29(0) = 0 得 
az 十 as 二 0 a@=1 
| a, +a +20; =1 > [az 
2a, +a + 4a = 0 aa 一 一 
从 而 得 满足 初始 条 件 za(0) = 0,240) = 1 2(0) = 0 的 特 解 为 
q(t) = te’ + 2c — e% 
(3) 由 初始 条 件 zs(0) = 0,24 (0) = 0,24 (0) = 1 得 
az 十 as 一 0 al 一 一 工 
| a, +a +23 =0 > = 


2a; + a + 4a, =} 
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AZ, 满足 初始 条 件 zaf0] = 0, 24(0) = 0,280) = 1 的 特 解 为 


Zalt) = ~tet — ef + e% 


计算 知 


因此 , 由 定理 8.3.4 可 求 得 


At <7, (t)E + zalt) A + zalt) A? 


100 101 
=(—2t +e”) 0 1 0| + (te? +2- e*) jo 1 Of + 
0 0 1 002 
103 
(-te -e +e") ]0 1 0 
004 
即 有 
—2tet + ef + e% 0 一 2tet — ef + 2e% 
e4 = 0 一 2tet + et + e” 0 
0 0 —4tet + 3e% 


BRT RRR SR Mh FUSE ER, ET MEN AF ERER ae 
JERE A... 的 正弦 


sin(A) 墅 La 2 BE IF D t yan (8.3.22) 
矩阵 Anun 的 余弦 
cos(A) < A% (8.3.23) 


总 结 以 上 讨论 , 可 以 得 出 结论 : Cayley-Hamliton 定理 为 矩阵 求 逆 、 和 矩阵 寡 的 计算 、 线 
性 微分 方程 的 求解 ( 碟 等 价 于 矩阵 指数 消 数 的 计算 ) 提供 了 非常 有 效 的 工具 。 很 难 想象 
如 果 没 有 Cayley-Hamilton 定理 , 即便 只 是 3 x 3 RB A 的 计算 也 将 显得 异 
党 复杂 和 耗 时 ， 人工 计算 将 是 一 件 难于 承受 的 负担 ! 


8.4 Hermitian 矩阵 的 特征 值 分 解 


前 面 儿 区 关于 特征 值 和 特征 向 量 的 所 有 讨论 都 是 针对 一 般 和 矩阵 的 ， 并 没有 变 求 矩阵 
一 定 是 实 对 称 或 者 复 共 固 对 称 的 。 然 而 ， 在 统计 与 信息 科学 中 ， 经 常 遇 到 实 对 称 和 矩阵 
或 Hermitian( 复 共 连 对 称 ) 和 矩阵。 例如， 对 于 实 观测 数据 向 量 æt) HARM R = 
E{ztt)zT(t)} 是 实 对 称 和 矩阵 , 而 复 观测 数据 向 量 z(t) HAKER R = Batet (t)} 为 
Hermitian 和 矩阵。 另外 一 方面 ， 由 于 实 对 称 抢 阵 蚌 Hermitian 矩阵 的 特例 ， 而 Hermitian 
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矩阵 的 特征 值 和 特征 向 量具 有 一 系列 重要 的 性 质 所 以 有 必要 对 Hermitian SAFE 
分 析 进 行 专门 的 讨论 。 
8.4.1 Hermitian 矩阵 的 特征 值 和 特征 向 量 


Hermitian 扼 阵 的 特征 值 和 相对 应 的 特征 向 量具 有 以 下 重要 性 质 。 

定理 8.4.1 Hermitian 和 矩阵 A 的 特 第 值 一 定 是 实 的 。 

证 明 Alu SHE Hermitian 矩阵 A 的 特征 值 和 与 之 对 应 的 特征 向 量 ， 即 
Au = Xu。 Pid DIN Ze FAP AE ES, 得 二 次 型 标量 值 函 数 Aw = Auu. W 
HARE, 即 有 ua_hau = Autu, 于 是 有 Auu = Mule. 注意 到 内 积 Pu 总 取 实 数 
值 , 故 有 入 = 入, 即 特 征 值 必定 是 实数 。 n 

定理 8.4.2 $ (Au) 是 Hermitian SEPE A 的 特征 对 , Æ 4 TNE, 则 (3u) 是 逆 
和 矩阵 AT! 的 特征 对 。 

证 明 由 Au = Xu f us AAT u BI Ata Su. REN, (5,0) OEE At 
的 特征 对 。 E 

XİT nxn 维 Hermitian 4ER A, ECARD LAER An Aat An 都 通过 求解 
特征 方程 (8.1.8) 获得 , 就 可 以 利用 下 面 的 两 个 步骤 求 出 与 这 些 特征 值 对 应 的 特征 向 量 。 


(1) 利用 高 斯 消去 法 求解 方程 


(A-ADe =0 (8.4.1) 
得 到 与 每 个 已 知 A 对 应 的 非 零 解 2。 
(2) 利用 Gram-Schmidt 正 交 化 方法 将 正 交 化 ,得 到 相互 正 交 、 并 且 具 有 单位 范 
数 的 特征 向 量 。 
k 面 的 引 理 描述 了 Hermitian 矩阵 的 多 重 特征 值 与 秩 之 亲 的 关系 。 
引 理 8.4.1 F A, 是 Hermitian 矩阵 AM = A 的 多 重 特征 值 , 并 且 其 多 重度 为 m, 


则 
rank(A ~ MI) =n — mg (8.4.2) 


证 阴 ” 见 文献 411, p.308]. 

由 这 一 引 理 知 , 任何 一 个 Hermitian 甜 阵 都 满足 可 对 角 化 定理 的 充 要 条 件 。 因此 , 直 
接 可 得 下 面 的 推论 。 

推论 8.4.1 任意 一 个 Hermitian 矩阵 A 都 是 可 对 角 化 的 , 即 


U`'AU =X, A È Hermitian 矩阵 (8.4.3) 


下 面 推导 Hermitian 矩阵 的 具体 相似 范式 。 为 此 ,需要 一 个 重要 的 定理 。 

定理 8.4.3 Hermitian 和 手 阵 的 所 有 特征 向 量 线性 无 关 ,并 上 苹 相 互 正 交 。 即 是 说 ， 特 
征 矩 阵 U = [up ww2,… ,am] BEM, WE UT =U". 

证 明 4 p200-291) 证 明 分 为 两 步 。 
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第 一 步 证 明 Hermitian 矩阵 与 不 同 特征 值 对 应 的 特征 向 量 相互 正 交 。 令 Au, = Ati 
Au, = Mupp HH, A, A A»。 由 这 两 个 式 子 分 别 得 th4u = yuu, ullAu, = 
Aguiar, . MA — PRR E, 并 注意 到 特征 值 为 实数 ,立即 有 ul Au, = A uhu 
故 ufu, = Mufu, 或 者 (A -Aulus = 0, 从 而 得 ufu, = 0， 即 特征 向 量 uj 与 up 
EX, WARME à # Age 

HOBER D ER E RE EERE. E nxn ERE AN = A 的 特征 
Ë Ae 具有 多 重度 mo 则 由 引 理 8.41 Sl rank(A-— Apt) = n- my FHR (4 一 和 了 是 
奇异 的 。 于 是, 存在 与 Ae 对 应 的 mx 个 特征 向 量 , 它们 是 方程 (4 一 入 .了 Daz = 0 的 线性 无 
关 解 。 申 命题 1.8.1 知 , 这 些 线性 无 关 的 解 u 是 正 交 的 。 因此 , # rank(A— AI) = n-m 
则 存在 与 A, 对 应 的 ms 个 特征 向 量 线性 无 关 , 并 且 彼 此 正 交 。 

由 于 特征 矩阵 U = [wuiyaa, ,Wa] 的 所 有 特征 向 基 喷 线性 无 关 ， 又 相互 正 交 , 故 UU 


AS, 满足 UU" = 了 , 即 UT = CHE。 国 
将 定理 8.4.3 应 用 于 相似 范式 (8.2.46), 立即 得 到 
UHAU = F = diag( Àp, tt An) (8.4.4) 
或 者 
A=UsU" (8.4.5) 


称 为 矩阵 A 在 正 交 相似 下 的 范式 (canonical form under orthogonal similarity) 141} 2-291, 
式 (8.4.5) 经 常 写 成 级 数 展开 形式 


a 
A=} Muut (8.4.6) 
i=l 


这 一 形式 称 为 Hermitian 矩阵 的 谱 分 解 。 
式 (8.1.1), IÈ (8.4.4) ~ 式 (8.4.6) 是 Hermitian 和 矩阵 的 特征 值 分 解 常见 的 四 种 形 
xt. MATLAB 函数 [Lambda, U]= eig(A) HFK n x n 矩阵 A 的 ”个 特征 值 A; 及 其 
对 应 的 特征 向 量 wi = 1,2,--- ,n。 
在 最 优化 理论 和 信和 号 处 理 中 ,经常 遇 到 一 次 型 函数 at Ae. 利用 式 (8.4.6), 可 以 将 
二 次 型 函数 写作 


wh Ag 一 > ARaei|? (8.4.7) 
i=l 


式 (8.4.6) 带 来 的 一 个 方便 是 Hermitian ERE 4 的 逆 矩 阵 的 级 数 展开 形式 。 由 定理 
8.4.3 知 ， 逆 矩阵 的 级 数 展开 形式 为 、 


n 
1 

4 一 =》 yuu (8.4.8) 
i=l 


因此 ,车 已 知 Hermitian 矩阵 A 的 特征 值 分 解 , 则 可 根据 上 式 直接 求 出 其 逆 矩 阵 AH 
在 许多 特征 值 计算 中 , 常常 将 原 问 题 分 解 为 几 个 更 小 的 特征 值 问 题 。 下 面 的 结果 是 
这 种 特征 值 简化 的 基础 。 
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引 理 8.4.2 ET EC PRY 
= |Tu TialP 
T= [ 0 到 | q 


W ACP) =A Ta) UAT 23), 其 中 , =p tae 

证 明 设 Tor 

r-e 到 加 -四 

其 中 , pl € CP, æ E Ct Hae £O, W Taz, = A£ Mil A E A(T). 省 ra = 0， 
WW Pye, = Avy, 从 而 AE AT y)o THE, AT) < AT) UAT) A, 由 于 AT) 和 
AT) UAT) 具有 相同 的 基数 , 所 以 两 个 集合 相等 。 

关于 两 个 Hermitian 矩阵 的 同时 对 角 化 , 有 下 面 的 两 个 定理 。 

定理 8.4.4 ”对 于 两 个 nxn 维 Hermitian 矩阵 , FE-PE P 使 得 PHAP 和 
PYBP PARMA, 4A AB = BA. 

TERA 见 文献 [189] 或 文献 [411, pp.312~313]. 

定理 8.4.5 MTR nxn 维 非 负 定 Hermitian SURE A 和 互 ,在 在 一 个 非 奇 异 抵 
MEP, 使 得 PE4P 和 PU BP HAX HERE. 

证 明 兄 文献 331] 或 文献 [411, pp.313~314。 


8.4.2 Hermitian 矩阵 的 正定 性 


在 第 1 章 介绍 矩阵 4 的 二 次 型 函数 ot Ag 时 , 曾经 强调 , 为 了 保证 矩阵 A 的 唯一 性 ， 
通常 假定 4 为 Hermitian ERE, 并 且 还 给 出 了 正定 矩阵 、 半 正定 矩阵 、 负 定 矩阵 、 半 负 定 
矩阵 和 不 定 矩阵 的 定义 。 事 实 上 , 假定 Hermitian 矩阵 的 主要 原因 不 仅 是 因为 对 于 特定 的 
二 次 型 消 数 f(z1, ra，… En) 存在 唯一 的 Hermitian 矩阵 满足 aT Aw = f(z1, zz En) 
而 且 还 因为 Hermitian HMA ASIA AER 

鉴于 只 讨论 Hermitian 答 阵 的 二 次 型 ， 二 次 型 又 叫 Hermitian 型 , 它 是 一 实 的 标量 


H(z,2) = (x, Aw) = s” Ar = Yat, (8.4.9) 
i=1 j=1 
ERE A 称 为 二 次 型 的 核 (矩阵 )。 在 核 取 单位 矩阵 (其 A = I) 时 ， 二 次 型 退化 为 向 量 z 
与 它 自 身 的 内 积 cite. Alb, 二 次 型 可 以 视 为 内 积 的 推广 。 
考虑 酉 变换 之 后 的 二 次 型 。 令 Hr, x)= (x, Ax) = TAx 为 二 次 型 , 并 定义 线性 变 
换 z = Ry, 其 中 , R ARIER. eR, TARO Ale, w) 改写 为 


H(a,2) = YRIARY = y" Py (8.4.10) 


式 中 
P=R"AR=R'AR (8.4.11) 


特别 地 , SPREE EA PUT PATER, 则 称 
at As = y"(REAR)y = ydiag(N, Mh An) (8.4.12) 
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为 标准 二 次 型 。 因 为 召 是 酉 矩阵, FR! = R". 不 妨 令 A= USU" RAE A 的 特征 
值 分 解 , 并 将 它 代 入 原 二 次 型 百 (,z), 得 


I (a, 2) =e As = zEITZEE7Ea 
定义 画 和 矩阵 R= U, Me = Ry = Uy IÈ y = Ux. TÆ, 二 次 型 变 作 
H(a,2) = y" Zy = (æ, Be) = D> Alya? (8.4.13) 
i=1 


即 经 过 西 变换 2 = Ry 后 , 二 次 型 s Az 的 值 等 本 二 次 型 的 核 矩 阵 A 的 特征 值 与 y 的 
模 值 平 方 的 乘积 之 和 。 
当 向 量 s 为 零 向 量 时 ， 所 有 的 二 次 型 car 都 等 于 零 。 然 而 ， 对 于 某 些 特殊 的 
Hermitian 矩阵 , 其 二 次 型 va4z 或 大 于 零 或 等 于 零 。 为 了 看 清楚 这 一 点 , 观察 式 (8.4.13)， 
容易 得 出 下 列 关 系 。 
(1) SFE 4 的 特征 值 全 部 大 于 零 , 则 由 于 |ys| 不 全 部 为 零 , 故 二 次 型 五 (z,z) > 0。 
(2) QAER A 的 某 些 特征 值 (i = isio ie) ETS, 其 他 特征 值 大 于 零 ， 车 
v =0, i inin sip WARE H(æ,x) = 0; Hy, £0, Yi isin ig 
则 H(e,2) > 0。 因 此, 5ER A 有 特征 值 等 于 零 ,其 余 特征 值 大 丁 零 时 , 一 次 
型 H(z,2) > 0。 

(3) 车 矩阵 4 的 特征 值 全 部 小 于 零 , 则 由 于 |y:| 不 全 部 为 零 , 故 二 次 型 H(z,z) < 0。 

(4) 令 矩 阵 A 的 某 些 特征 值 A.(i = isio ooir) STS, 其 他 特征 值 小 丁 零 ， 车 
4 二 人 0,2 天生 ,i2,… ip WOW A(e, 2) =0; Hy, £0, Vi žini igs 
则 五 (x,z) <0. 因此， HER 4 有 特征 值 等 于 等, 其 余 特 征 值 小 于 零 时 , 二 次 
型 H(z,2) <0. 

二 次 型 和 核 矩 阵 之 间 的 关系 (1) 可 以 引出 Hermitian 和 矩阵 的 正定 性 ， 其 判 据 如 下 。 

一 个 n xm SIRES 4 是 正定 的 ， 当 且 仅 当 它 满足 以 下 任何 一 个 条 件 ; 

(1) 二 次 型 函数 As >0, Va #0. 

(2) EM 4 的 所 有 特征 值 都 大 于 零 。 

(3) 所 有 主子 矩阵 Ap 1 <k <n 都 具有 正 的 行列 式 , HH, A, = A(1 :k,l1:k) 由 

SER 4 的 第 1 ~ k 行 和 第 工友 列 组 成 。 

. (4) 存在 一 个 非 奇异 的 wx n JER R, 使 得 4 = RER。 

(5) 在 在 一 个 非 奇 异 的 nxn SEE P, 使 得 共犯 对 称 矩 阵 PAP 是 正定 的 。 

令 z 为 一 高 斯 随机 向 量 。 为 方便 计 , 假定 它 具 有 和 零 均值 向 量 ,。 此 时 , 高 斯 随机 向 量 的 
DIZER Cs。 定义 为 随机 向 量 z 与 它 自 身 的 外 积 的 期 望 值 ， 即 C, = Ezz} WA 
差 矩 阵 总 是 正定 的 , 其 证 明 如 下 : 首先 ,以 协 方差 矩阵 为 核 的 二 次 型 可 以 写作 atc, @ = 
Ef{jetz?}. ATM 2 和 z 分 别 为 常数 向 其 和 随机 向 量 ， 它 们 不 可 能 正 交 ， 即 内 积 
mHz 天 0。 于 是 ,二 次 型 EC。z > 0, 即 协 方差 矩阵 Cu 是 正定 矩阵 。 
正定 矩阵 具有 以 下 性 质 : 
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(1) 正定 矩阵 A 的 所 有 对 角 线 元 素 都 是 正 的 。 

(2) 正定 矩阵 的 行列 式 人 于 零 ， 即 det(.4) > 0, 因而 A EFRR N. 

(3) WERE AT 是 正定 的 。 

(4) 正定 矩阵 A 的 对 角 线 元 素 满足 不 等 式 aaj > lay 1x jo 

(5) 正定 矩阵 A 具有 最 大 绝对 值 的 元 素 一 定 在 对 角 线 上 。 

(6) 正定 矩阵 删 去 第 天 行 和 第 天 列 (1 <k <n) 之 后 , 仍然 是 正定 的 。 

令 矩 阵 U = [ua yt， 其 中 ,aa an 是 矩阵 A 的 特征 向 量 。 若 4 为 
Hermitian 矩阵 ， 且 具有 有 不同 的 特征 值 ， 则 它 的 特征 向 基 开 相 正 交 。 这 意味 着 U 必然 满 
足 ZraU = UU" = 1, B U RB. 将 4 的 特征 值 分 解 Au, = Ayu, i= 1,2,---,2 
as, OF 


AU =U . =US 


RP, F = diag( An An) 为 对 角 和 矩阵 。 由 于 U ARER, 上 式 可 改写 作 Hermitian 
矩阵 的 特征 值 分 解 的 另 一 种 常见 表达 形式 : 


A=UsU# (8.4.14) 
由 行列 式 和 迹 的 性 质 ， 从 上 式 易 得 
det(A) = det(U) det (X) det(U™) = 下 Ài (8.4.15) 
i=l 
tr(A) = (UU £) = tr( £) = D a (8.4.16) 


imi 


式 中 , 利用 了 酉 矩阵 的 行列 式 等 于 1 这 一 事实 。 
对 于 正定 Hermitian 矩阵 A, HREM AW? 存在 。 由 式 (8.4.14) 知 


A` = Udiag(M!, XN! ,Ma UE (8.4.17) 


正定 矩阵 和 灶 正 定 抢 阵 服从 下 面 一 些 重要 揭 不 等 式 (224See8.71。 
(1) Hadamard TER: 车 m x m KARE A = [os 正定 , 则 


det(A) < [Tos 
4 一 1 


当 且 仅 当 A 是 对 角 和 矩阵 , 等 式 成 立 。 
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(2) Fischer 不 等 式 : GAER P = [an al 为 正定 矩阵 , 其 中 , ARER A 和 


C HEATHER, W 


det(P) < det(A) det(C) 
(3) Oppenheim 不 等 式 : WR mx m WERF A 和 B AIEEE, Jt) 


det(A) Tl b, < det(A © B) 
i=l 
式 中 , AOB EIER 4 和 B ff) Hadamard 积 。 
(4) Ostrowski-Taussky 定理 : $ H (Amem) = Hata") 为 正定 矩阵 ， 则 


det H(A) < | det(A)| 


等 号 成 立 , 当 且 仅 当 4 为 自 伴随 矩阵 , 即 4# = A。 
(5) Minkowski 不 等 式 : 若 m x m MIRE A, B 是 正定 矩阵 , W 


Wdet(A+ B) > Ydet(A) + Ydet(B) 
令 z4 是 Hermitian 矩阵 A e Crxn 的 零 特 征 值 的 个 数 , MI n-z, 是 Hermitian 矩阵 A 
的 非 零 特征 值 的 个 数 ,。 由 于 U 为 非 奇异 矩阵 , 所 以 由 A = UXU" 知 rank(A) = rank( £) 
注意 到 , HAERE O 的 非 零 元 素 就 是 矩阵 4 的 非 零 特 征 值 。 因此 , IAEE 五 的 秩 等 
于 矩阵 A 非 零 特征 信和 的 个 数 , 即 rank( 号 ) =n- zg FÆ A 


rank(A) =n— za (8.4.18) 


HI Hermitian 矩阵 的 秩 等 于 其 非 零 特 征 值 的 个 数 。 
定理 8.46 — Hermitian OM A 的 特征 值 都 是 非 负 的 ， 当 且 仅 当 4 IER 
(或 半 正 定 ) 的 。 
证 明 nxn 维 Hermitian 矩阵 的 特征 值 分 解 4 = UEU", » U 为 本 和 矩阵， 对 
HERE D = diag( 和 ,和 ho，… An)» B 和 (i = 1,2,… ,mn) 是 矩阵 4 的 特征 值 。 于 是 , 二 次 
型 Ae = w3UZUNg = y" dy, 其 中 , y= U's. A, EPE A 非 负 定 ， 当 且 仅 当 五 
非 负 定 。 但 是 , 由 于 E ENAERE, 所 以 号 非 负 定 , MBM A, 20ji=1,2,---, no 本 
定理 得 证 。 E 
推论 8.4.2 一 个 Hermitian EM A 的 特征 值 都 是 正 的 , SARS 4 是 正定 的 。 
证 明 在 定理 8.4.6 的 证 明 中 , 只 要 将 “ 非 负 定 ” 替 换 为 “正定 ”以 及 将 à > 0 替换 
为 入 > 0, 即 可 得 到 本 推论 。 E 
类 似 地 , 还 可 证 明 以 下 结论 : 
(1) Hermitian 4E A 的 特征 值 都 是 非 正 的 , 当 且 仅 当 A 是 非 正定 (或 半 负 定 ) 的 。 
(2) Hermitian 矩阵 A 的 特征 值 都 基 负 的 ， 当 只 仅 当 A 是 负 定 的 。 
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Hermitian $2020] LAS} R=: 
ARSE eR Ae ERE 
FEE PEREPERE ARK: 
TRER MEE NIFEE. 
结合 上 述 讨论 和 行列 式 的 有 关 知 识 , 表 8.4.1 eH T RRE AHE 
的 充分 必要 条 件 。 
表 8.4.1 。” 实 对 称 矩阵 的 分 类 及 各 类 和 矩阵 的 充分 必要 条 件 


a 称 a x 大 分 必要 条 件 
| “特征 信者 大 于 零 的 实 对 ”| mE TASS, 即 
正定 你 了 
SEE det(A,) > 0(i = 1,2,... ,n) 
FiF Rh 实 det(A) = 
gregn | PERITOS | dea) =0 
对 称 知 阵 det(A;) 2 0(¢ = 1,2,--- ,n—1) 
特征 值 都 小 于 堆 的 实 对 <0 (DER) 
awm | PTE EH | det(A) {5 0 GARE 
eM 
(i= 1,2,- , a) 
det(A) =0 
enman | YTEBSATSES | ga [<0 COAN 
对 称 短 了 20 (2 为 偶数 ) 
(@=1,2,---,n-1) 
Pe 也 ”| BEEF de(An)=0 


APE | 或 有 det(Agia1) > 0, det(Agy1) <0, i% F 


PA Hermitian SEM. $} Hermitian 矩阵 和 酉 矩阵 等 儿 种 特殊 的 正规 矩阵 和 一 般 


的 正规 矩阵 的 特征 什 情 况 596: p83) 
Hermitian 矩阵 > 特征 值 均 为 实 值 


斜 Hermitian HERE <—> 特征 值 均 在 庶 辅 -上 
ARBRE > 特征 值 的 复数 模 均等 于 1 
其 他 正规 矩阵 = 特征 值 无 上 述 要 求 
CS SA, 常常 需要 计算 一 个 Hermitian 4 A HBAR MHE. REA 
(power method) 是 求 这 些 特征 值 的 一 种 方法 。 例 如 ， 蔡 选择 某 初始 向 基 =(0)， 就 可 迭代 
地 使 用 线性 方程 


正规 矩阵 


ylk-+1) = hz 全 (8.4.19) 
求 出 wy 人 十 1])， 再 将 其 归 一 化 得 到 
w(e+1) = Berd (8.4.20) 
Cnet 


Tepi = WER + Dye +1) (8.4.21) 
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迭代 过 程 持续 , 直到 mx WS. 在 最 后 一 步 得 到 的 o 将 是 最 大 特征 值 ,xz(k) 是 对 应 的 特 
征 向 量 。 即 便 初 始 向 量 z(0) 不 与 最 大 特征 值 对 应 的 特征 向 量 正 交 , 收 敏 也 是 有 保证 的 。 
为 了 得 到 最 小 特征 值 以 及 与 之 对 应 的 特征 向 量 , 仿照 式 (8.4.19) 得 YE+I) = Anta (k), 
WARMER BW Aylk + 1) = afk). 
TEER RAOUL AREAS, 可 以 求 出 矩阵 A 的 所 有 特征 值 及 对 应 的 特征 向 量 。 其 
方法 如 下 : 假定 用 乘 宪 法 求 出 了 A 的 某 个 特征 值 o (第 一 步 对 应 为 4 的 第 一 个 最 人 特征 
值 )， 我 们 就 用 一 压缩 映射 过 程 除去 此 特征 值 ,即将 一 个 秩 k 矩阵 A, 变换 成 秩 k1 的 
JERE Apro Ay, 的 最 大 特征 值 就 是 矩阵 A, 的 小 于 o 值 的 最 大 剩余 特征 值 (第 ee 
应 为 4 的 第 个 最 大 特征 值 )。 应 用 这 一 思想 和 谱 分 解 公 式 (8.4.6)， 便 得 到 新 的 算 阵 


(A, — ova) > Ap (8.4.22) 
重复 以 上 方法 ， 即 可 依次 求 出 矩阵 4 的 所 有 特征 值 。 
8.4.3 ”对 称 正定 特征 值 问题 的 Jacobi 算法 


前 面 已 强调 过 在 特征 值 问题 Hu = Xe 中 假设 H AMAR DEE. 在 很 多 应 用 
中 , FM H 还 往往 是 正定 的 。 此 时 ， 称 特征 值 问题 Bu = Xu 为 对 称 正定 特征 值 问题 。 
现在 考虑 这 一 问题 的 精确 数值 计算 。 
ARIE EEE 百 ,x。 称 为 依 比例 对 角 占 优 (scaled diagonally dominant, s.d.d.} 4E 
BE, Æ H = DAD (D 为 对 角 和 矩阵 ), FH A- Ille < 1。 针对 依 比例 对 角 占 优 的 对 称 
正定 矩阵 ， 文 献 [27] 提出 了 精确 计算 对 称 正定 特征 值 问题 的 数值 算法 。 然 而 ， 依 比例 对 
角 占 优 是 一 个 有 点 苟 刻 的 限制 。 例 如, 对称 正定 矩阵 

1040 1029 1019 10% 1 01 01] [10” 
H= [ie 107° | -| 1010 | E 1 可 | 10° | 
1 1 


1019 10 2 0.1 01 2 


就 不 是 依 比例 对 角 占 优 和 矩阵 , 因为 4 一 Ile > 1。 
1992 年 ， Demmel 与 Veselic 023 将 文献 [27] 的 算法 推广 到 适合 于 所 有 对 称 正定 矩 
阵 , 提出 了 下 面 的 算法 。 
算法 8.4.1 (对 称 正定 特征 值 问题 的 双边 Jacobi 算法 ) 
for all pairs i < 了 
WH Jacobi 旋转 , 使 下列 2 x 2 子 和 矩阵 对 角 化 : 
区 入 -E 
Hy, Hl |e è 
E = (b — a)/(2c), t = sen(éy/(El + V1 + &) 
es = 1/ V1 +t, sn=cs*t 
更 新 2 x 2 FH 
Hy=a—cxt 
Hy =b+crt 
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Hy, =H, =0 
更 新 第 i 行 , Bj 列 的 其 他 元 素 
fork=1:n 但 i#¥7 
tmp = Hy, 


Hig = cs * tmp — sn * Hy, 
Hy, = sn * tmp + cs * Hy, 
His = Has Hyg = Hi 
endfor 
EAR EREE V 
fork=1:n 
tmp = Vii 
Vi = C8 * tmp — sn * Vy 
Vig = sn * tmp + cs * Vi; 
endfor 
endfor 
EKRENE (Hyl (Ha Hyjloj)*? <tol, Vij 满足 ， 则 停止 ; 否则 重复 以 上 运算 。 
SREP, tol 是 用 户 自己 定义 的 停止 准则 , 一 般 选 tol 为 计算 机 精度 。 特征 向 量 矩 阵 
的 初始 值 可 选择 单位 矩阵 。 
文献 [123] 通过 扰动 分 析 证 明 ， 由 上 述 Jacobi 算法 计算 出 来 的 特征 值 具有 几乎 与 原 
和 矩阵 自身 的 加 有 不 确定 度 一 样 小 的 误差 界 。 换 言 之, 只 要 原始 数据 的 不 确定 度 比 较 小 , 即 
使 使 用 无 限 精度 计算 特征 值 ， 也 不 会 比 Jacobi 算法 好 。 在 这 个 意义 上 讲 ， 对 称 正定 特征 
值 问题 的 双边 Jacobi 旋转 算法 是 一 种 精确 的 数值 算法 。 


8.5 Fourier 矩阵 与 Toeplitz 矩阵 的 特征 值 分 解 


在 第 2 章 和 第 3 章 , 我 们 分 别 讨论 了 Fourier 矩阵 与 Toeplitz 矩阵 这 两 种 特殊 矩阵 ， 
它们 在 信息 科学 与 技术 问题 中 经 常 遇 到 。 特别 地 ,我 们 会 对 这 两 种 特殊 甜 阵 的 特征 值 与 
(或 ) 特征 向 量 感 兴趣 。 


8.5.1 Fourier 矩阵 的 特征 值 
首先 讨论 Fourier 矩阵 的 特征 值 问题 。 令 F, 是 一 个 nxn Fourier 1B, HOB i fT, 
第 大 列 的 元 素 Fli k) = wD- / yn, B Fourier 矩阵 为 
工 1 1 tee 1 
low w? see w 
Fa=|. . . . (8.5.1) 


a-i waan cee g-e- 


1 w 
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AH, w = e?n, 


令 cca ,cn FE Fourier JERE F,, 的 特征 值 ， 则 cich 2 EAER F2 的 特征 


值 。 直接 计算 知 F2 的 元 素 为 


adh i+k=2Wi+k=n+2 
从 10， 其 他 


于 是 , 矩阵 F2 的 特征 值 为 +1 和 -1, 它们 的 多 重度 分 别 为 [mn 二 2)73 Al (n-1)/2], H 


中 , [] 表示 下 其 整数 部 分 。 就 是 说 ,Fouricr AiE F, 的 特征 值 取 1, -1,j, -j。 令 特征 值 c 


的 多 重度 为 Laleh Rl 
£,(1) + Eyl) = [fn + 2)/2] 


Al 
LanG) + Lal) = Kr — 1/2] 


FY EE HSS EEL ZN RRAN, Fourier 和 矩阵 的 迹 为 
tr(F,) = oa 人 一 La (—1) + a0) ~ Leli) 
而 直接 计算 Fourier 抢 阵 所 有 对 角 元 素 之 和 , LAF, 的 迹 为 
VRtr(F,) = ut 
a 


这 是 所 请 的 高 斯 求 和 ， 即 有 


1+j, n 
p ton, 1, n= 
(Fa) = (+U += 90 ng moda) 
j n=3 


(8.5.2) 


(8.5.3) 


由 式 (8.5.2) 和 式 (8.5.3), 可 以 得 到 四 个 特征 值 1, 一 1,j, 一 j 各 白 的 多 重度 Lale) MH 8.5.1 


所 不 。 
表 8.5.1 Fourier 矩阵 的 特征 值 


n Ak+1 | 4k+2 | 4k+3 | 4k+4 


Latl) | k+l f k+l | k+l | k+2 


E,(-D k k+i | k+1 | k+l 


Ln fi) k k k+1 | k+l 


L,(-i) | k k k k 


关于 Fourier WER LERE Efroymson 等 人 提出 ， 并 由 Sekiguchi 与 


Kimura 等 人 解答 的 43l 。 
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8.5.2 Toeplitz 矩阵 的 特征 值 分 解 


“由 于 在 信号 处 理 等 工程 中 遇 色 的 Toeplitz 矩阵 大 多 数 是 对 称 的 ， 而 卫 许 多 问题 的 分 
析 与 解决 都 离 不 开 对 称 Toeplitz MAES IE, STAT DEER AK Toeplitz 
SEMPER Sith. 为 了 方便 讨论 ， 这 里 假定 Be RYN 为 对 称 Toeplitz 
JERE, C € RN*N 为 非 对 称 Toeplitz MABE, HG J < RN*N 为 交换 矩阵 (也 称 后 向 单位 
MERE). 根据 交换 矩阵 之 定义 易 知 , TOME B 有 


JBJ =BI=JB=B (8.5.4) 
WIA TARR PREP C, WA 
CT=JCJ, CTJ=JC (8.5.5) 


注意 , JC 使 C 的 行 序 互相 交换 , 而 CTJ 则 使 CT 的 列 序 互相 交换 , 而 C 的 行 就 是 CT 
的 列 , KH CTI = JC。 
下 面 分 两 种 情况 讨论 实 对 称 Toeplitz 矩阵 RAYE TEMPE LE. 


1， 偶数 维 情况 
根据 结构 ,任何 一 个 2N x ON 的 实 对 称 Toeplitz 矩阵 Roy 都 可 以 矩阵 分 块 成 


Pon = le 3] (8.5.6) 


T, Fourier 矩阵 的 特征 值 分 解 与 两 个 分 块 短 阵 B A C 的 特征 值 分 解 有 关 。 
定理 8.5.1 ZIER (8.5.6) 的 对 称 Toeplitz 矩阵 Roy 的 特征 值 分 解 。 


T 
(1) B pu) AE N x N 维 矩阵 互 +JC 的 特征 对 , 则 (a. [a owr] ) 


是 Ron 的 特征 对 。 r 
(2) E (po 0) 是 NX N BEBE B — JC 的 特征 对 , 则 ( [ar-a] ) 
是 Ray 的 特征 对 。 


证 明 两 部 分 的 证 明 完 全 类 似 ， 因 此 下 面 只 证 明 前 一 部 分 的 结果 。 由 假设 条 件 及 特 
征 值 - 特征 向 量 之 定义 , 有 


(B+ IC)u, = Nu (8.5.7) 


利用 式 (8.5.4) 和 式 (8.5.5)， 并 注意 到 J = I CORUERMIA OTE), 容易 得 到 


1 
va 1 _1 _1 
| = zP +CT Jya; = ze 十 JC)ui = gah (8.5.8) 
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1 
va" _ 381 lp 2 
[c, B) EA = (BI + Oju = Jg’ BI + POM, 

= IUBI +JC)uu = ge + IC)u, 


1 
= A 5. 
vat Uy (8.5.9) 


综合 式 (8.5.8) 和 式 {8.5.9)， 立 即 有 


B ct Jat Yat 
[2 A A =à] (8.5.10) 
yam yan 
由 于 u; 是 特征 向 量 , Mutu, =1, uu =0G As), 从 而 有 
L ut; 
[ae 点 ceo % = tutu, + surat Ju, = =1 (8.5.11) 
2 2 yar 2 
1 
Ly, 
[uF Sola)" va ° = lulu; + JJ Iu, =0 (8.5.12) 
a" a Frj? 


T 
式 (8.5.10) ~ 式 (8.5.12) 表明 ， (a [Spe u] ) 确实 是 Ron 的 特征 对 。 m 
定理 8.5.1 AURAL: 任何 一 个 2N x ON 维 对 称 Toeplitz HRE Ran 的 特征 值 分 解 
都 可 以 通过 两 个 入 x NH Toeplitz 矩阵 的 特征 值 分 解 得 到 。 


2， 奇数 维 情况 
根据 Toeplitz 结构 ,任何 一 个 (2N + 1) x (2N + 1) 维 对 称 Toeplitz JEM Roy. 都 
可 以 分 块 为 
B z CT 
Riny = 四 To a (8.5.13) 
C J« B 


其 中 , se RNX1。 在 这 一 分 块 形式 下 , 有 下 面 的 特征 值 分 解 结果 。 
定理 8.5.2 SKK Toeplitz 矩阵 Roy 4, 按照 式 (8.5.13) 分 块 。 
(1) 车 (Anlag, aa]7) Æ (N +1) x (N+ 1) BE 


A= B+JC V2 
17 | v5a7 To 


T 
的 特征 对 , 则 (» [aoe J(u] ) 是 Raya, HERE 
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T 
(2) E (pov) 是 Aa = B- JO 的 特征 对 则 (n [Fae ， o-a] ) 


Rays 的 特征 对 。 
TEA 只 证 明 前 一 部 分 , 因为 后 一 部 分 的 证 明 完 全 类 似 。 由 假设 条 件 有 


Bar eE] 


VaT ory jlo 
由 此 得 
Bu; + JCu, + Vina, = Ayu; a) 
Al 
Vial wu, + roa, = Ao; (2) 


利用 式 (8.5.5) 的 结果 JC = CTJ RK (1), 有 


1 
va“ 1 
[a, ”=: cz] | a |= gBut Vea; + CT Ju;) 
1 
yarn 
1 1 
= ges + Vago + JCu;) = ye (3) 
Al 
i 
va 
(C, Jz, B) | a; = Glen + vVžJæa; + BJu;) 
1 
yar" 
= Gls Bau, t+V2e0,+J3Cu,) (利用 JP =1) 
= gud [利用 7BJ = 8B 和 式 (3)] (4) 
又 由 式 (2) 得 到 
L 
| | 
fat, ro，zTJ | a; = zeu + Orga, + VaT J 'u;) = Aa; (5) 
Jrs 


式 中 , 使 用 了 结果 J 了? =I 综合 式 (3) ~ 式 (5) 立即 得 到 


a, =A; a; 


1 1 
k z F ya“ va“ 


1 L 
Tu yar 
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T 
这 就 证 明了 ， (a [aer ao Jua] ) 是 Royy, 的 特征 对 。 利 用 luf, aJ? 是 正 交 


一 T 
向 量 这 一 假设 还 很 容易 验证 : 向 其 Jaena Jpn] 是 正 交 向 基 。 a 
， ”定理 8.5.2 表明 , 任何 一 个 (2N + 1) x (2N +1) 对 称 Toeplitz 矩阵 Roy. 的 特征 值 
分 解 都 可 以 通过 (N +1) x (N +1) 矩阵 A, 和 N x N SEE A, = B -IO 两 个 较 小 的 特 
征 值 分 解 求 出 。 


8.6 ”特征 问题 与 奇异 值 问题 的 扰动 分 析 


在 计算 或 者 使 用 矩阵 的 奇异 值 分 解 (或 特征 值 分 解 ) 的 时 候 , 我 们 常常 对 矩阵 本 身 的 
扰动 引起 的 奇异 值 及 奇异 向 其 (或 特征 值 及 特征 向 量 ) 的 变化 感 兴趣 。 有 关 这 一 问题 的 讨 
论 称 为 奇异 值 问题 (或 特征 问题 ) 的 扰动 分 析 。 为 了 叙述 的 方便 ， 下 面 先 讨论 特征 问题 的 
扰动 分 析 。 

8.6.1 ”特征 问题 的 扰动 分 析 

特征 问题 的 扰动 分 析 分 为 绝对 扰动 分 析 与 相对 挑动 分 析 两 类 。 G nxn SERRE A 为 
对 称 矩 阵 ， 其 扰动 用 JA RR 

标准 的 绝对 扰动 分 析 包 括 特征 值 的 绝对 挑动 分 析 与 特征 向 量 的 绝对 扰动 分 析 。 特征 
值 的 标准 绝对 扰动 结果 系 指 实 对 称 矩 阵 A 和 4 + 54 的 特征 值 满足 


[A [A + ôA] — A,[A]] < [16 Alle (8.6.1) 
式 中 , 和 ,[4] 表示 矩阵 4 的 第 i 个 最 大 特征 什 。 
A u EIERE 4 与 特征 值 [A 对 应 的 特征 向 量 , 并 且 w 是 矩阵 A+ 6A 与 特征 值 
入 对 应 的 特征 向 量 , 且 


Au=),[Aju, (A+6A)u! = Nw 


运用 正弦 定理 B81, 


|sinð| < liale (8.6.2) 
gap, 


i 


式 中 , 0 < 8 Sr/2 EH u 张 成 的 子 空间 与 由 w 张 成 的 子 空间 之 间 的 夹 角 , H 


gap; © min |A,[A] — à'| (8.6.3) 
it 


是 对 称 和 矩阵 A 与 4 + 6A 的 特征 值 之 间 的 绝对 间隙 (absolute gap) 859, 
与 式 (8.6.1) 称 为 特征 值 的 标准 绝对 扰动 结果 相 类 似 ， 式 (8.6.2) 称 为 特征 向 基 的 标 
准 绝对 扰动 结果 。 
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顾名思义 , 特征 值 和 特征 向 量 的 相对 扰动 分 析 关 心 的 是 对 称 人 矩阵 4 利 4 +A 的 特 
征 值 和 特征 向 量 之 亲 的 相对 变化 。 
在 特征 值 分 解 的 范畴 内 , 通常 将 扰动 后 的 矩阵 限定 为 


A+téA=D'™AD, DERF (8.6.4) 


换言之 , 所 有 扰动 矩阵 限定 为 不 得 改变 原 对 称 和 矩阵 的 秋 。 

为 了 方便 八 述 相对 扰动 分 析 的 结果 , PT A, 利 分别 表示 nx n IRERE 4 和 
4+64 的 第 ; 个 特征 值 , ww; 和 uw) 分 别 是 与 特征 值 A A, 对 应 的 特征 向 基 , 0, 表示 由 
u 和 uf 分 别 张 成 的 两 个 子 空间 之 间 的 夹 角 , 0 < 9; < rr/2。 定 义 

ef 一 和 
aSpa G8) 
为 4 的 第 i 个 特征 值 的 相对 间 际 (relative gap). 
Tisenstat 与 Ipsen 4] 证 明了 下 面 两 个 定理 。 
ER 8.6104) $ 4+64 = DTAD, 其 中 ,万 为 非 奇 异 矩 阵 , 则 


iA; 


XDD 8.6.6 

nD < MD Pls (8.66) 
和 

JA; -Xl < DTD — Flle (8.6.7) 


这 一 定理 描述 了 扰动 矩阵 引起 的 特征 值 的 相对 变化 , 因为 式 (8.6.7) 可 以 等 价 写作 


N= Ay 
a < | DTD -Ir (8.6.8) 
i 


换言之 , HEEL Ra RER D MALERNE RE. WIRDE RE 
达 式 (8.6.7) 表明 , 第 宇 个 特征 值 的 绝对 扰动 A; -Al 以 [Aj] ||D7D 一 Tp 为 上 界 。 
EA 8.6.2] 令 4 上 +64 = DT4D, 其 中 , D 为 非 奇异 矩阵 。 若 定义 


f def _ i 
p ID- Ilr, yË DTD- Ille, 6 £ 1D" Dlie | DTD — Tle (8.6.9) 


则 
+8 (8.6.10) 


sind, < 6 
太一 了 
假定 p; > Yo 
定理 8.6.2 表明 ， 由 真实 特征 向 基 u, 和 相应 的 被 扰动 特征 向 量 这 分 别 张 成 的 子 空 
闻 之 间 的 夹 角 的 正 孩 的 上 界 , 由 矩阵 4 的 第 i 个 特征 值 Xi 的 相对 间隙 ps 决定 。 定 理 中 
的 参数 6 和 + 分 别 代表 算 阵 偏离 单位 矩阵 和 偏离 正 交 和 矩阵 的 离 差 。 
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8.6.2 ” 育 异 值 问 题 的 扰动 分 析 


考虑 奇异 值 问题 的 扰动 分 析 。 $ BIEB 为 m xn 矩阵, 它们 的 奇异 值 分 曾 为 o; 
和 of, 与 之 对 应 的 左 奇 异 向 量 分 别 为 uw; Mul, 右 奇异 向 量 分 别 为 w 和 of. 将 ws A ul 
分 别 张 成 的 两 个 子 空间 的 夹 角 记 为 0t (0 < OF < 1/2), 由 wv 和 让 分别 张 成 的 子 空间 之 
间 的 夹 角 记 为 9 (0 < OY < 1/2). 

定义 
Bi min fa, mip Paza lal ai (8.6.11) 
它 表示 由 于 扰动 的 作用 , 所 引起 的 m x n HERE B 的 第 i DARRI. 

在 奇异 值 问题 的 扰动 分 析 中 , 通常 以 满足 B+ 6B = DiBDr (Dr 和 Dy 非 奇 异 ) 
的 一 类 扰动 矩阵 OB 为 讨论 对 象 Paa, 

有 两 种 方法 可 以 将 奇异 值 问 题 的 扰动 分 析 转 换 为 特征 问题 的 扰动 分 析 。 第 一 种 方法 
是 使 用 BTB 或 者 BBT 的 特征 值 的 正平 方 根 作为 矩阵 B 的 奇异 值 , 即 


= yA [BTB] = VABBT, 1=1,2,... ,minfm,n} 
第 二 种 方法 利用 Jordan-Wielandt 矩阵 


A= [3 z] BLA ERE 


其 特征 值 为 +0;, HH 


是 与 特征 值 A = 0, 对 应 的 特征 向 量 。 
利用 以 上 两 种 方法 , Eisenstat 与 Ipsen (144) 分 别 证 明了 下 面 两 个 定理 。 
定理 8.6304 $ B+ôB=D,BDp 其 中 ,Dy Al Dp 为 非 奇异 矩阵 ， 则 
pa $% Selb Ils (8.6.12) 
L IF F 
EA 8.64044 $ B+B =D,BDp 其 中 , Dr 和 DL 为 非 奇 异 和 矩阵 ， 并 定义 


BY max{|DT — Ille: Dr- Fle}, 72 max{| DL DE - Tp, |IDDp — Tle} 


BS max{l| DL DEle, DEDale} max{| DE Dz” — Ilys" DE! ~ Fle} 


lo, = o] S70; (8.6.13) 
FEA A> 7 则 z 
max{sin 6, sin 07} < V2 (5 + 3) (8.6.14) 
式 (8.6.13) 表明 , 扰动 引起 的 奇异 值 相对 变化 由 D, 和 Dp 偏离 平 正 交 和 矩阵 的 那个 

最 大 离 差 决定 。 
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8.7 “特征 值 分 解 的 几 种 典型 应 用 


特征 值 分 解 有 着 广泛 的 应 用 。 本 节 以 信号 处 理 和 模式 识别 中 的 问题 为 例 , 介绍 几 个 典 
型 的 应 用 ; 标准 正 交 变换 、 迷 向 圆 变 换 、Pisarenko 谐 波 分 解 、 主 分 量 分 析 以 及 降 秩 Wiener 
8.7.1 ”标准 正 交 变换 与 迷 向 圆 变换 

给 定 一 组 彼此 相关 的 随机 变量 , 常常 希望 通过 线性 变换 ， 把 它 变换 成 另外 一 组 统计 
不 相关 的 随机 变 其 。 甚 至 更 进一步 , 希望 变换 后 的 一 组 统计 不 相关 随机 变量 各 个 分 量 还 
具有 单位 方差 。 这 两 个 任务 可 以 通过 标准 正 交 变换 和 过 向 圆 变换 分 别 完成 。 

令 3 为 一 m x1 随机 向 其 ,其 均值 向 量 为 ms, WAREN Cu。 

首先 ,使 用 线性 变换 zo = 2- m, 将 = 变 成 零 均 值 的 随机 向 量 wo， 这 是 信号 处 理 
和 模式 识别 通常 采用 的 一 种 预 处 理 。 此 时 ， 随 机 向 量 xo MUAH DEERE e ANTE HE 
阵 相 同 , 即 Ra = Coo 

1. 标准 正 交 变换 

令 Cu 的 特征 值 分 解 为 


C, =U, X,U} (8.7.1) 


利用 UP 对 wo 进行 线性 变换 , 其 结果 为 


w= Ugo = UË (æ — m,) (8.7.2) 
于 是 ,变换 结果 w 的 均值 向 量 
mw = UBE{a} = UZE{x - m,} =0 (8.7.3) 
H w 的 协 方差 矩阵 
Cu = Ry =E{ww"} = EU3aozg Oo 一 TsRooDn . 
=UBC,.U, = 2, (8.7.4) 


AH, 使 用 了 前 面 的 结果 Ra = Ca。 

由 于 E, 是 对 角 矩 阵 , MO, BAA. 

总 结 以 上 讨论 , 使 用 特征 值 分 解 的 线性 变换 w = Usxo = Uz(z - ms) 具有 以 下 有 
趣 的 性 质 Be: 
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(1) 随机 向 量 w RASH, 各 个 分 基 彼 此 统计 不 相关 (因而 正 交 )。 进一步 地 , 车 
o 是 具有 均值 向 量 m, 和 协 方差 矩阵 Cs MERMAID N(m,,C,), W w 
是 一 个 具有 零 均 值 向 量 和 协 方差 矩阵 为 对 角 矩 阵 的 正 态 分 布 N(0, 允 .), 即 它 的 
各 个 分 基 相 五 统计 独立 CE: 对 于 有 具有 有 零 均 值 向 景 的 正 态 或 高 斯 随机 向 量 ， 正 
交 、 统计 不 相关 和 统计 独立 王者 等 价 )。 

(2) 随机 变 基 w;(i = 1,2,.… ,m) 的 方差 等 于 协 方差 矩阵 C。 的 特征 值 。 

(3) 由 于 线性 变换 矩阵 U, 是 标准 正 交 和 矩阵， 所 以 线性 变换 w= USzo 称 为 标准 工 
交 变 换 (orthonormal transformation), HIES RAREN 


Pao) E sO zla = ("U ,) 5; Ube = ozECzlz = H(z) (8.7.5) 


在 标准 正 交 变换 下 保持 不 变 。 距 离 测 度 d(x) = zaCzre RA Mahalanobis 距 
离 。 在 正 态 随 机 向 其 的 情况 下 , Mahalanobis 距离 与 对 数 似 然 函数 有 关 。 


2、 迷 向 圆 变换 

在 上 面 的 标准 正 交 变换 中 , 线性 变换 w = U3xo 的 白 相关 矩阵 (与 协 方差 矩阵 相等 ) 
R, 为 对 角 和 矩阵 , (A AEE 7。 要 使 w 的 自 相 关 和 矩阵 为 单位 矩阵 ,就 需要 对 w 再 
作 另 一 个 线性 变换 


y = Ez’ wy = DU = D7 PUE (@ —m,) (8.7.6) 
由 上 式 和 式 (8.7.4), 得 
R, = Ply} = BC, EI? = BPE EP st 


线性 变换 y = SDP wy = D, UBs, 称 为 迷 向 圆 变换 (isotropic circular transfor- 
mation), ANAR y BOT ES haat AR he eH). RARA EAE Tt AAC ELE 
图 8.7.2 画 出 了 一 维 情况 下 迷 向 圆 变换 的 几何 解释 PO, 


图 8.7.1 迷 向 四 变换 的 几何 解释 


图 8.7.1 清楚 地 表明 , 在 迷 向 贺 变 换 中 不 仅 存在 坐标 轴 的 平移 和 旋转 ， 而 且 还 存在 坐 
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标 轴 的 伸缩 。 结果 是 ， 向量 y 的 分 布 变 成 了 圆周 型 的 分 布 ， 在 所 有 方向 上 都 相同 ， 即 分 
布 是 方向 不 变 的 。 这 样 -种 分 布 称 为 各 向 同性 分 布 或 迷 向 分 布 (isotropic distribution). 
从 图 8.7.1 可 以 看 出 ， 以 二 维 向 量 = = AB = (a,b) 为 例 , 经 过 标准 正 交 变换 tw = 
Das{z 一 ms) 后 , 描述 w 的 新 坐标 系 具 有 以 下 儿 何 特点 : 

(1) 新 坐标 系 是 描述 向 量 z 的 原 仅 标 系 的 平移 ， 即 原点 从 {0, 0) 半 移 全 (a,b) 

(2) 新 坐标 系 是 原 坐 标 系 的 旋转 。 

总 结 以 上 讨论 ,可 以 得 出 迷 向 圆 变换 所 具有 的 重要 性 质 ， 

(1) 经 过 迷 向 圆 变换 之 后 ， 白 相关 犯 阵 变 成 单位 矩阵 。 这 意味 着 , 迷 向 圆 变换 得 到 的 

随机 向 大 的 所 有 分 量具 有 单位 方差 ,而 且 彼 此 统计 不 相关 。 

(2) 对 具有 零 均值 向 量 的 随机 向 量 so 所 进行 的 迷 向 网 变换 y = DPU m 的 矩 

BE ( 称 为 迷 向 圆 变换 矩阵 ) A = DPU 是 正 交 的 ， 但 不 是 标准 正 交 的 。 
(3) Mahalanobis 距离 只 (zo) ERMA PRR. WEB, Ply) A 
P(w) 

下 面 从 信号 处 理 的 观点 观看 标准 正 交 变换 和 迷 向 圆 变换 。 

车 将 m 个 相关 的 零 均值 随机 过 程 {fziftnj,zz(aj……，,zm(aj} 视 为 一 随机 向 量 e(n) = 
len) a(n) Emin), BEELDE x(n) 的 标准 正 交 变换 等 价 于 将 m 个 相关 的 随机 
过 程 2, (n),22(2),-++ ,zm(n) 分 别 变换 为 白 ( 色 ) 噪声 过 程 ,简称 ( 预 ) 白化 。 在 这 类 情况 
F, m 个 白 噪声 过 程 具 有 不 同 的 方差 。 

对 随机 向 量 z(n) 进行 迷 向 圆 变换 时 , m 个 相关 随机 过 程 zi(nj,zz(n) Eml) 分 
别 白化 为 具有 单位 方差 的 白 噪声 , 常 称 标准 白化 。 

因此 ， 若 将 数学 雍 言 翻译 成 信号 处 理 诸 言 ， 即 有 : m 维 随机 向 量 的 标准 正 交 变换 和 
迷 向 圆 变换 分 别 是 m 个 随机 过 程 的 白化 和 标准 白化 。 白 化 或 标准 户 化 是 信和 号 处 理 中 经 常 
使 用 的 预 处 理 手段 。 

例 8.7.1 考虑 1.9.2 节 列举 过 的 盲 信 叶 分 离 问题 =(n) = Asn) 其 日 的 是 只 使 用 
(1), 2(2),… ,2{N)]T 恢复 原 统计 独立 的 信号 源 向 量 a(n) = [si(m,sa(n) Sml) 
由 于 言 分 离 的 不 确定 性 , 分 离 出 来 的 m 个 随机 信号 的 排序 可 能 发 生变 化 , 每 个 信号 的 幅 
值 也 会 相差 一 个 复数 因子 。 襄 信号 分 离 的 独立 分 量 分 析 法 和 非 线 性 主 分 量 分 析 法 中 , 都 
需要 对 观测 数据 向 量 a(n) 作 适 当 的 线性 变换 , 使 得 变换 后 的 向 量 中 的 各 个 分 量 统计 独立 
或 者 尽 可 能 统计 独立 。 对 观测 数据 向 量 ein) 进行 珊 先 白化 , 对 实现 统计 独立 是 非常 用 
的 。 这 是 因为 , m 个 相关 随机 过 程 户 化 后 , 彼此 统计 不 相关 ,而 统计 不 相关 是 统计 独立 的 
必要 条 件 。 另外, 由 于 各 个 信号 源 都 假设 为 单位 方差 , 所 以 很 自然 地 希望 m 个 白化 后 的 
随机 过 程 (MAILE) 都 具有 单位 方差 。 鉴 于 此 , 对 观测 随机 过 程 进行 标准 白化 ,已 
成 为 盲 信号 分 离 的 一 种 重要 的 预 处 理 手段 。 


8.7.2 Pisarenko 谐 波 分 解 


谐 波 过 程 在 很 多 工程 应 用 中 会 经 常 过 到 , 并 需要 确定 这 些 谐 波 的 频率 和 功率 (SRE 
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波 恢复 )。 谐 波 恢复 的 关键 任务 二 估计 谐 波 的 个 数 及 频率 。 下 面 介绍 谐 波 恢复 的 Pisarenko 
谐 波 分 解 方法 ， 它 是 俄 岁 斯 数学 家 Pisarenko 提出 的 Fl, 
考虑 由 ?个 实 正弦 波 组 成 的 谐 波 过 程 


a(n) = > Aisin(2r fin + 8,) (8.7.7) 
i=1 
当 相位 & 为 常数 时 ， 上 述 谐 波 过 程 起 一 确定 性 过 程 , 它 是 非 平稳 的 。 为 了 保证 谐 波 过 程 
的 平稳 性 , 通常 假定 相位 0, 是 在 [Fa 可 内 均匀 分 布 的 随机 数 。 此 时 , 谐 波 过 程 是 一 随机 
过 程 。 
谐 波 过 程 可 以 使 用 差分 方程 描述 。 先 考虑 单个 正弦 波 的 情况 。 为 简单 计 ， 令 谐 波 信 
号 a(n) = sin(2rfn +g)。 回 忆 三 角 阔 数 恒等式 


sin(2rfn 十 从 十 sinf2rf(na — 2) + 8] = 2cos(27 f) sin[2r f(n — 1) + 8) 
车 将 2(n) = sin(Qafnt 0) RAER, 便 得 到 二 阶 差分 方程 
a(n) — 2cos(2rf)z(n — 1) + e(n — 2) = 0 


对 上 式 作 Z 变换 , 得 
全 一 2ecos(2r7)z + 277) X(z) =0 


于 是 ， 得 到 特征 多 项 式 
1 2cos(2rf)z* +27 =0 


CAIME, BI 


z = cos(2rf) +j sin(2rf) = eti2"f 


注意 , HERRERA 1, 即 jal = |zs| = 1。 由 特征 多 项 式 的 根 可 决定 正弦 波 的 频率 , 即 有 


fi = aretan{Im(z,)/Re(z,)[/2a . (8.7.8) 


通常 ， 只 取 正 的 频率 。 显 然 , 如 果 p 个 实 的 正弦 波 信号 没有 重复 频率 的 话 ， 则 这 p 个 频 
率 应 该 由 特征 多 项 式 > op 
Ile -z-z = Yar =0 

320 


1 
或 
Lt aya +-+ op 12 PTP 4 2? = 0 (8.7.9) 
的 根 决定 。 易 知 , 这 些 根 的 模 全 部 等 于 1. PATA AC SEO BSR EL, 所 以 特 
征 多 项 式 (8-7.9) 的 系数 存在 对 称 性 ， 即 


a, = yy i, b=0 lp (8.7.10) 
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与 式 (8.7.10) 对 应 的 差分 方程 为 
A (8.7.11) 
正弦 波 过 程 - 般 是 在 加 性 白 噪声 中 被 观测 的 , ERREN en) MARLE 
y(n) = z(n) + e(n) = va sin(27 fin + 8,) + eln) (8.7.12) 


UP, el) ~ N(0,02) 为 高 斯 白 噪 声 ， 它 与 正弦 波 信号 x(n) 统计 独立 。 将 alr) = y(n) 一 
eln) RAR (8.7.11)， 立 即 得 到 白 噪 声 中 的 正 落 波 过 程 所 满足 的 差分 方程 


23 2p 
ul) + S agni = e(n) +)" aie 人 一 起 (8.7.13) 
i=l 1 


这 是 一 个 特殊 的 自 回归 - 滑动 平均 (ARMA) 过 程 , 不仅 白 回归 (AR) 阶 数 与 滑动 平均 
(MA) 阶 数 相等 , 而 且 AR 参数 也 与 MA 参数 完全 相同 。 
现在 推导 这 一 特殊 ARMA 过 程 的 AR 参数 满足 的 法 方 穆 。 为 此 , 定义 向 量 


T 


y(n) = [y(n), y(n — 1),-+- y(n — 2p) 
= [l,a aap)” (8.7.14) 
e(n) = [e(n) eln — 1), +++ , eln — 2p)]™ 
THs, 式 (8.7.13) 可 写成 


y" (n)w = e" (njw (8.7.15) 
用 向 量 y(n) 左 乘 式 (8.7.15)， 并 取 数学 期 望 , 即 得 
Efy(n)y" (n)}w = E{y(nje™(n) ew (8.7.16) 


令 B,(k) = Ely(nt k)y(n)) 表示 观测 数据 y(n) 的 白 相关 函数 , 则 


BD 

1 2 

Bua PO O PN erg 
Bop) Rep- = RO 


E{y(nje™ (n)} = E{[e(n) + e(n)Je™(n)} = Efe(n)e™(n)} = o21 


， 使 用 了 zln) 与 wn) 统计 独立 的 假设 。 将 以 上 两 个 关系 式 代 入 式 (8.7.16) 便 得 到 
一 个 重要 的 法 方程 


Rw = ow (8.7.17) 
这 表明 , o2 是 观测 过 程 {fy(m)} 的 白 相 关 和 矩阵 R = E{y(n)y™(n)} ORME MORES 
式 的 系数 向 量 w 是 对 应 于 该 特征 值 的 特征 向 量 。 这 就 是 Pisarenko 谐 波 分 解 方法 的 理论 
基础 。 
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HR, BHXH R 的 特征 值 o2 是 噪声 eln) 的 方差 , 其 他 特征 值 则 与 各 个 谐 波 信 
号 的 功率 对 应 。 当 信 品 比比 较 人 时 , 特征 值 o2 明显 小 丁 其 他 特征 值 。 因此 , Pisarenko 谐 
波 分 解 启迪 我 们 ， 谐 波 恢复 问题 可 以 转化 为 白 相 关 撼 阵 吾 的 特征 值 分 解 : 谐 波 过 程 的 特 
征 多 项 式 的 系数 向 其 w 就 是 自 相关 矩阵 中 与 最 小 特征 值 o? 对 应 的 那个 特征 向 基 。 


8.7.3 ”离散 Karhunen-Loeve 变换 


企 许多 信号 处 理 和 模式 识别 应 用 中 ,常常 需要 将 随机 信号 的 观测 样本 用 另外 一 组 数 
(RAB) 表示 , 同时 使 这 种 新 的 表示 具有 某 些 所 希望 的 性 质 。 例如 ,对 于 编码 而 言 , 希望 
信号 可 以 用 少数 系数 表示 , 同时 这 些 系数 集中 了 原 信号 的 能 量 。 又 如 , 对 于 最 优 滤波 ， 则 
希望 变换 后 的 样本 统计 不 相关 , 这 样 就 可 以 降低 滤波 器 的 复杂 度 , 或 者 提高 信 品 比 。 实现 
上 上 述 目 标的 道 几 做 法 是 将 信号 展开 成 正 交 基 范 数 的 线性 组 合 ,使 得 信号 相对 丁 基 攻 数 的 
各 个 分 量 不 会 相互 干扰 。 

如 果 正 交 基 美 数 根据 信号 观测 样本 的 协 方差 矩阵 适当 选择 ， 就 有 可 能 在 所 有 正 交 基 
函数 中 ,获得 具有 最 小 均 方 肖 差 的 信号 表示 。 在 均 方 误差 最 小 的 意义 上 , 这样 一 种 信号 
表示 想 最 优 的 信号 表示 , 它 在 随机 信号 的 分 析 与 编码 中 具有 重要 的 意义 和 应 用 。 这 种 信 
号 变换 是 Karhunen 和 Loeve 针对 连续 随机 信号 提出 的 , 称 为 Kauhunen-Loeve 变换 。 后 
来 Hotelling 把 它 推广 到 离散 随机 信号 ， 所 以 也 叫 Hotelling 变换 。 不 过 , 在 大 多 数 文献 
中 , 仍 习惯 称 之 为 离散 Karhunen-Loeve 变换 。 

$ r= [zizoe tul 是 一 零 均值 的 随机 向 量 , KKM R, = E{zzH}。 现 
在 , 希望 使 用 线性 变换 


w= QH (8.7.18) 
其 中 , Q 是 一 酉 矩阵 , HQ = QH。 于 是 , 原 随机 信号 向 量 x ADH MEE ce 
BE @ 表示 成 w 的 线性 组 合 , 即 


M 
2=Qu=> wg, gia, =0, i#j (8.7.19) 


i= 


为 了 减 小 变换 后 的 系数 w, 的 个 数 , 假定 在 上 式 中 只 使 用 w 的 前 m 个 系数 wp w, 
wm(m = 1,2,… , M) 逼近 随机 信号 向 基 xz, 即 


t= Sou, l<m<M (8.7.20) 
ia 
于 是 , 随机 信号 向 量 的 m PUEDEN RA h 
M M M 
Em =2-@= > wg > wa, = > Wili {8.7.21) 
i=l i=l t=m4+1 
给 出 。 由 此 可 以 得 到 均 方 误差 
M M 
En = E{ehem}= JO afE{lwP}a = > Blo? aa: (8.7.22) 


i=m+l i=m+1 
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H w; = gta 易 知 了 fo] = qER。qgi。 若 进一步 约束 ggei; = 1, WA (8.7.22) 表示 
的 均 方 误差 可 以 重新 写 为 


M M 
En= >) Eflwl?}= > Ra (8.7.23) 


i=m+1 iSm+l 


约束 条 件 为 
qtq,=1, i=m+1,m+2,---,M 


为 了 使 均 方 误差 最 小 化 , 使 用 Lagrange 乘 数 法 构造 代价 函数 


M M 
J= > Rat YO A0 ~ afa), 


i=m+1 i=zm+l 
aJ . 
+ a; =0,i=m+1,m+2,..,M, B 
8 M M 
pe dRe + JO AC- gq)| = Roti- Agi = 0 
oa: i=m+l i=m+l 
i=mt+1m+2,---,M (8.7.24) 
即 得 
Rig = rd t= mtimt2j-,M (8.7.25) 


这 一 变换 称 为 Karhunen-Loeve 变换 。 
上 述 讨论 说 明 ， 当 使 用 式 (8.7.20) 逼近 一 个 随机 信号 向 量 e 时 ,为 了 使 逼近 的 均 方 
误差 为 最 小 , 应 该 选择 Lagrange TOM A, 和 代价 阔 数 中 的 正 交 基 疝 量 g; 分 别 是 信和 号 白 相 
XE R, 后 面 的 M 一 m 个 特征 值 和 特征 向 量 。 换言之 , 式 (8.7.20) 中 用 作 随 机 信号 向 
量 的 正 交 基 应 该 是 R, 的 前 m 个 特征 向 量 。 

令 M x M BACHE R, 的 特征 值 分 解 为 


M 
R, =) aul (8.7.26) 
i=1 


此 , RÈ (8.7.20) 中 被 选择 的 正 交 基 为 g; = wz, i = 1,2,--+ ,me 
如 果 自 相关 矩阵 R, 只 有 K 个 大 特征 值 , 并 且 其 他 M-K 个 特征 值 可 以 忽略 , 则 式 
(8.7.20) 中 入 号 逼近 的 阶 数 应 该 取 m= 天， 从 而 得 到 信号 的 K 阶 离散 Kauhunen-Loeve 


RFR 


K 
ô=) wu (8.7.27) 
i=1 


其 中 , wi=1,2, -K Æ K x1 向 量 


w= Ulg (8.7.28) 


508 第 8 章 特征 分 析 


的 第 i PITH. RP, U, = Pa ,Wk] BORED K 个 大 特征 值 对 应 的 特 
征 向 量 组 成 。 此 时 , K 阶 离散 Karhunen-Loeve 展开 的 均 方 误差 为 


M M M 
Ex= 》 uBRw= 》 ul (ss uju 中 = A (8.7.29) 
K4 i=K+1 

HFA, t=K11,K+2,---,M 都 是 自 相关 矩阵 R, 的 次 特征 值 , 均 方 误差 Ep 很 小 。 

如 果 原 数据 z1,x2,… ,zx 是 需要 发 射 的 M 个 数据 。 在 发 射 端 直接 发 射 这 些 数据 ， 
会 带 来 两 个 河 题 : 这 些 数据 很 容易 被 他 人 接收 ; 在 很 多 情况 下 ,数据 长 度 M 可 能 很 大 。 
例如 , 一 幅 图 像 需要 先 按 行 转换 为 数据 , 然后 将 各 行 的 数据 合成 一 个 很 长 的 数据 段 。 利 
用 离散 Karhunen-Loeve 展开 , 则 可 以 避免 直接 发 射 原 数 据 的 这 两 个 缺陷 。 假 定 需 要 发 送 
的 图 像 或 者 庄 音信 号 的 M 个 离散 样本 为 z(0),z.(1),… ,ze(M 一 1), 其 中 ,，M 很 大 。 如 
果 分 析 给 定数 据 x,(0),2,(1),--- ,z(M 一 1) EHS, 并 确定 其 最 大 特征 值 个 数 K, 
就 可 以 得 到 K 个 线性 变换 系数 wn ,wk 和 KK 个 正 交 的 特征 向 量 uur ak。 
这 样 , 就 只 需要 在 发 射 端 发 射 KK 个 系数 ww ,ar。 如 果 在 接收 端 有 这 K 个 特征 向 
量 的 信息 ， 则 可 利用 


K 
ĉ = Jouu (8.7.30) 
1 


重 构 被 发 射 的 M 个 数据 ri), i =0,1,…,M 一 1。 

将 M 个 信号 数据 xz.(0), 356(1),… ,ze(M 一 1) 变换 成 天 个 系数 wwa ,wi 的 过 
程 称 为 信号 编码 或 数据 压缩 ; 而 从 这 K 个 系数 重 构 M 个 信号 数据 的 过 程 则 称 为 信号 解 
B. 图 8.7.2 画 出 了 信号 编 公 和 解码 的 原理 图 。 


s(n) [KL] fee Pama Ki] $) 
木 编码 变换 选择 “| 编码 EZB] 重 构 的 
的 信号 a 信号 


图 8.7.2 ”利用 离散 Karhunen-Loeve 变换 的 信号 编码 和 解码 原理 图 


比率 M/K 称 为 压缩 比 。 车 K 比 M 小 得 多 时 , 即 可 得 到 大 的 压缩 比 。 ER, 经 过 离 
散 Karhunen-Loeve 变换 对 原 数据 进行 编码 后 , 不 仅 可 以 大 大 压缩 发 射 数据 的 长 度 , 而 且 
即使 KK 个 编码 系数 被 他 人 接收 ， 由 于 没有 K 个 特征 向 量 的 信息 , 他 人 也 不 可 能 准确 重 


构 原 数据 。 
” 8.7.4 ES} REST 


假定 有 P 个 统计 相关 的 性 质 指标 集合 {zi, za, … ,zp}。 由 于 它们 之 间 的 相关 性 , 在 
这 P 个 性 质 指标 中 存在 信息 的 完 余 。 现在 希望 通过 正 交 变 换 , 从 中 获得 K 个 新 特征 集合 
{B132,… ,站 Kk}。 这 些 新 特征 相互 正 交 。 由 于 被 此 正 交 , 新 特征 之 间 不 再 有 信息 的 元 余 。 
这 一 过 程 称 为 特征 提取 。 从 空间 变换 的 角度 , 特征 提取 的 实质 就 是 从 卫 个 原始 变量 的 C7 
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空间 内 , 提取 出 彼此 正 交 的 K 个 新 变量 , AU CK 空间 。 将 一 个 存在 信息 元 余 的 多 维 空 
癌变 成 一 个 无 信息 元 余 的 较 低 维 空间 , 这样 一 种 线性 变换 称 为 降 维 (reduced dimension). 

作为 降 维 处 理 的 一 个 典型 例子 ， 下 而 介绍 主 分 量 分 析 (principal component analy- 
sis, PCA). 

1， 单 信道 情况 

通过 正 交 变 换 ， 可 以 将 存在 统计 相关 的 P 个 原始 性 质 指 标 变 成 P 个 彼此 正 交 的 新 
的 性 质 指标 。 在 这 P 个 新 的 性 质 指标 中 , 具有 较 大 能 和 量 的 K 个 性 质 指标 可 以 视 为 PA 
原始 性 质 指标 的 主要 成 分 ,简称 主 分 量 或 者 主 成 分 。 另 外 PK 个 具有 很 小 能 量 的 性 质 
指标 则 称 为 次 分 是。 只 利用 数据 向 量 的 K 个 主 分 其 进行 的 数据 或 者 信号 分 析 称 为 主 分 量 
分 析 。 反 之 ， 基 于 次 分 生 的 信号 分 析 、 系 统 分 析 或 模式 分 析 则 统称 为 次 分 量 分 析 (minor 
component analysis, MCA)» 

主 分 量 分 析 的 主要 目的 是 用 K (K < P) 个 主 分 其 概括 表达 统计 相关 的 P 个 变量 。 
为 了 全 面 反 映 P 个 原始 变量 所 携带 的 有 用 信息 ， 每 一 个 主 分 量 都 应 该 是 忆 个 原始 变量 
的 线性 组 合 方式 。 

定义 8.7.1 $ R, 是 数据 向 量 x HERE, CA KK 个 主 特征 信 ， 与 这 些 主 特 
征 值 对 应 的 K 个 特征 向 量 称 为 数据 向 量 s 的 主 分 量 。 

主 分 量 分 析 的 主要 步骤 及 思想 如 下 。 

降 维 ; 将 P 个 变量 综合 成 KK 个 主 分 量 


j=1,2 K (8.7.31) 


RP, aj = [ap 0a apj] æ= fenta ap] 


正 交 化 : 和 欲 使 主 分 量 正 交 归 一 ， 即 


必须 选择 系数 向 量 a, 满足 正 交 归 一 条 件 
= fi i=j (8.7.32) 
因为 = 各 个 元 素 统计 相关 ,， 即 ote 40. 


能 量 最 大 化 : 若 选择 a = uj, i= 1,2,--,K, 其 中 , ui = 1,2,… ,KK) EHAKE 
阵 R, = Efex") 与 K 大 特征 值 à > 入 > … Py 对 应 的 特征 向 量 ， 则 容易 计算 出 各 
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个 无 元 余 分 量 的 能 其 为 
Ez, = E{lz,l?} = Efefa(afic)"} = uf BE{rr i} = ul Ru, 
AL o] fuf 
Ag ull 
man 


= uae, tty, Up] . 


0 àp] [ull 
=x, 


由 于 特征 值 按照 非 降 顺 序 排列 ， 故 
Ez, > Ez, > > Ex, (8.7.33) 


此， 按照 能 量 的 大 小 , 常 称 i 为 第 一 主 分 量 , zz 为 第 二 主 分 量 , 等 等 。 
注意 到 Px P 自 相关 矩阵 


Eflzl} BE{rzs} . Efayzp} 
R, = Blech} = PD Bie) = Blee) (8.7.34) 
Beprt} Blzpzs} =- Blepl?} 
PAER E AERA 
tr(R,) = Ef{|x;|?} + Efra} +- + E{fep|?} = Ay Azt + Ap (8.7.35) 
但 是 ， 若 白 相 关 和 矩阵 R, 只 有 K 个 大 的 特征 值 , 则 有 
Bile} 十 了 lz 十 … 士 Bflepl 人 六 tg to +k (8.7.36) 


总 结 以 上 讨论 , 可 以 得 出 结论 : 主 分 量 分 析 的 基本 思想 是 , 通过 降 维 、 正 交 化 和 能 量 
最 大 化 这 三 个 步骤 , 将 原来 统计 相关 的 P 个 随机 数据 变换 成 K 个 相互 正 交 的 主 分 其 , 这 
些 主 分 量 的 能 基 之 和 近似 等 于 原 P 个 随机 数据 的 能 量 之 和 。 

2， 多 信道 情况 

在 很 多 应 用 中 , 往往 可 以 获得 M 个 信道 的 观察 数据 , 我 们 希望 从 中 提取 某 些 信号 的 
共同 特征 。 这 些 特征 作为 模式 向 量 , 可 供 信号 分 类 之 用 。 例如 ,从 多 信道 脑 电 记录 和 心 电 
记录 中 ， 分别 提取 止 常 心 脑 血管 人 群 和 不 同类 型 病人 的 共同 特征 ， 即 可 出 于 心 脑 血管 病 
的 分 类 。 

假定 M 信道 的 观测 数据 序列 为 {1n} m= 1,2,---,M,n=1,2,---,N (N AM. 
测 数据 长 度 )。 由 于 每 个 信道 的 数据 a(l), zm(2),… EmN) 是 通过 不 同位 置 的 传感器 观 
测 的 , 所 以 常 把 这 样 的 观测 数据 称 为 空间 信号 , 其 相关 矩阵 称 为 空间 相关 和 矩阵。 不 失 一 般 
性 , 假定 这 些 观 浏 数 据 已 经 过 零 均 值 化 的 预 处 理 。 定 义 M x N 观测 数据 矩阵 


(1) ma VD) 
=- za 22(2) -> Zz2(N) 


= le(1), 2(2),.…- ,æ(N)] (8.7.37) 


oul) m) o sulN) 
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KP, s(n) = [e (n), a(n), ,Zr(n)] 是 由 所 有 M 个 信道 的 空间 信号 组 成 的 向 量 。 令 
M x M 空间 相关 算 阵 的 特征 值 分 解 为 


R= ExT =UZEUT (8.7.38) 


现在 希望 从 观测 数据 中 提取 表示 共性 的 特征 d (n) k= 2 M, n= 12,0 Ne 
使 得 原 观测 数据 龙 这 些 特征 的 线性 组 合 ,好 


M 
Enla) = amn) m= Mn N (8.7.39) 
k=1 
或 用 矩阵 形式 写作 
X=AS (8.7.40) 
式 中 
an Q ag $l) B12) o AN) 
As an üa `o aang = Pall) G22) > (N) 
aan am © amm Gull) bu) … bul) 


分 别 是 展开 系数 矩阵 和 表示 M 信道 信号 特征 的 矩阵 。 
在 观测 数据 的 展开 式 (8.7.39) P, 要求 提 取 的 特征 满足 正人 交 和 归 一 化 条 件 ， 即 


1 这 1, m=k 
Hed Pala (72) = 6(m — k) = { 0 meh (8.7.41) 


nal 


1 
KIE =I {8.7.42) 

利用 式 (8.7.38) 和 式 (8.7.42), 容易 求 得 

1 1 
R= XX = ASE AT = AAT (8.7.43) 
另 一 方面 ,由 于 空间 相关 矩阵 是 对 称 和 矩阵 ， 其 特征 值 不 可 能 为 负数 ， 故 存在 E, 即 有 
R=UD p20T (8.7.44) 

比较 式 (8.7.43) 和 式 (8.7.44), 立即 得 到 系数 矩阵 的 表达 式 

A=UD 或 ok 一 Var (8.7.45) 


RH, Ay 和 am = [umio tm tral” 分 别 是 空间 相关 和 矩阵 五 的 特征 值 和 对 应 的 特征 
向 量 。 用 矩阵 AT 左 乘 观测 数据 展开 式 X = 4 更 ， 并 利用 式 (8.7.45)， 易 知 


ATX = ATAS = SMUT DVS = ES 
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即 有 
S= SATX = SOS UTX = SVT (8.7.46) 
书写 成 列 向 量 形式 , 有 
y(n) ay? 0 ut 
aln) ay? uf 
: = + : a(n) 
du) |o agt?] bim 
Ap uT a(n) 
-1/2, T 
(| u3 a(n) (8.7.47) 
Ni uyala) 
即 有 
bm (te) = Tune m= 1,2," M (8.7.48) 


计算 每 个 信道 观测 信号 的 功率 ,并 利用 正 交 关系 式 (8.7.41), 得 
x 

Pm = wth = ty (Eionn) 
n=i 


六 AT 15 


M M M 
=) > mmj (> > én] =a (8.7.49) 
n=1 k=l 


k=1 j=1 
式 (8.7.49) 有 两 层 重 要 的 洱 义 : 
(1) 由 空间 信号 展开 式 zw(n) = Senh n) 可 以 看 出 , 第 m 个 信道 空间 信和 号 的 展 


开 系 数 ame 与 第 上 METR @(n) 相对 应 。 因 此 , 式 (8.7.49) 反映 了 第 天 个 
特征 子 波 gn) 对 m = 1,2,--- M 个 信道 的 空间 信号 的 功率 总 贡献 。 
(2) 由 式 (8.7.49) 种 式 (8.7.45) 有 


M x 
Po = ahr = Am Denk = Àm (8.7.50) 
k-i k=1 


即 空间 相关 矩阵 R 的 第 m 个 特征 值 反映 了 第 m 个 特征 子 波 tn(z) 在 功率 中 
的 贡献 。 
综合 以 上 讨论 , 可 以 得 出 结论 : 从 功率 观点 看 ， 只 有 与 比较 大 的 特征 值 (AMEE) 
Am 相对 应 的 特征 子 波 omla) 的 功率 贡献 比较 大 ， SAREE PRE M* 
信道 的 空间 信号。 换言之, EZKER RRA p 个 主 特征 值 na, X2,… ,Xp， 则 只 要 
提取 p 个 特征 子 波 p(n) daln) ,9p(n) BART. 此 时 ， SIME BIBT 


p 
=$ amt) m=1,2 M n=L2 N (8.7.51) 


k=1 
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此 方法 称 为 信号 的 主 分 量 分 析 。 MURE EAA AREEN TE Hotelling??4) 
T 1933 年 ,Eckart Lj Young!“ 于 1936 年 先后 发 展 的 。 

需要 注意 的 是 , 在 上 述 主 分 量 分 析 中 , 证 分 重 的 概念 体现 在 以 下 两 个 方面 ， 

(1) 式 (8.7.48) 表明 , 第 m 个 特征 学 波 n(n) 是 空间 信号 向 量 w(n) 与 空间 相关 扼 
REAR ANSE m 个 特征 向 量 w,, 上 的 内 积 ut eln) 被 特征 值 平 方 根 的 倒数 1/ VA 
加 权 的 结果 。 内 积 uren) 相当 于 取出 空间 信号 向 量 en) 与 第 m 个 特征 向 量 
u 的 共同 部 分 , 表示 信和 号 向 量 和 第 m 个 特征 向 量 之 间 的 共性 。 这 就 是 为 什么 称 
Pmi) 为 表示 共性 的 特征 子 波 的 原因 。 因 此 , 特征 闻 波 yy (re) 也 可 以 理解 为 观 
测 信号 向 其 z(n) 本 身 与 第 m 个 特征 向 量 相关 联 的 主要 分 量 即 主 分 量 。 

(2) 在 所 有 M 个 特征 子 波 gn) Go(n),… ,Bx(n) 中 , 与 p 个 主 特征 值 对 应 的 特征 
子 波 是 所 有 M 个 特征 手 波 中 的 主要 部 分 。 在 信号 的 展开 中 , 只 使 用 这 些 主要 的 
特征 子 波 凤 可 。 

主 分 量 分 析 可 以 给 出 被 分 析 信号 和 图 像 的 轮廓 和 主要 信息 。 与 之 不 间 , 次 分 量 分 析 
则 可 以 提供 信号 的 细节 和 图 像 的 纹理 。 

ENX 8.7.2084 $ Ro 是 数据 向 量 x RE, EH 已 个 次 特征 值 ( 即 小 特征 
值 ), 与 这 些 次 特征 值 对 应 的 P 个 特征 向 量 称 为 数据 向 量 > 的 次 分 量 。 

只 利用 数据 向 量 的 已 个 次 分 其 进行 的 数据 或 者 信号 分 析 称 为 次 分 量 分 析 。 次 分 量 分 
析 在 很 多 领域 中 有 着 广泛 的 应 用 。 例 如, 次 分 其 分 析 已 用 于 频率 估计 509,894 、 育 波束 形 
成 099, 动 目标 显示 P51、 杂 波 对 消 中 等 。 在 模式 识别 中 ,当主 分 量 分 析 不 能 识别 两 个 
对 象 时 , 应 进一步 作 次 分 量 分 析 ， 比 较 它们 所 含 信息 的 细节 部 分 。 


8.7.5 EEK Wiener 滤波 器 

如 果 原 始 NN 维 复 空间 CN REN 个 列 向 量 张 成 的 向 基 空 间 , 则 从 向 量 空间 CN 中 
获得 由 M 个 正 交 的 基 向 量 张 成 的 向 量子 空间 CM 的 变换 常 称 为 降 秩 (reduced rank)。 术 
语 “ 降 秩 ” 可 以 理解 为 由 N 个 列 向 量 组 成 的 矩阵 的 有 效 秩 的 降低 。 

作为 降 秩 的 一 个 应 用 例子 , 下 面 介绍 降 秩 Wiener 滤波 器 (reduced-rank Wiener filter) 
的 基本 工作 原理 及 实现 方法 。 

考虑 下 面 的 滤波 问题 : yn) = when), EP, a(n) = [e (n) rn) ,zw(m)]T 为 
N x 1 输入 向 量 , w= [w wn ,ww]T 为 滤波 器 , 有 N 个 抽 头 。 现 在 希望 设计 该 滤波 
器 , 使 其 输出 各 近期 望 输出 d(m)。 

TF, 2,(n),2,(n),---, ey (n) 是 N 个 相关 的 随机 过 程 ，N x N 自 相关 矩阵 Ro = 
Ef{a(n)e#(n)} 具有 满 秩 N。 采 用 最 小 均 方 误差 (minimum mean-squared error, MMSE) 
HEN 


min J(n) = min E{|d(n) — wa(n)|?} (8.7.52) 
设计 最 优 波 波 器 。 由 FO 一 0 吻 得 最 优 小 波 器 为 


Wopt = Rid rea (8.7.53) 
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RH, rig = Efz*(fnjd(m)} 是 输入 向 量 a(n) 与 标量 期 望 输出 之 间 的 互相 关 向 量 。 
基于 MMSE 准则 的 滤波 器 wopt 称 为 Wiener 滤波 器 。 由 于 滤波 器 的 NxN A 
相关 矩阵 ww, AA Roe AMR NN， 为 满 秩 矩阵 ， 故 N 维 Wiener 滤波 器 
Wop, = Roat pa 称 为 全 秩 滤波 器 (full-rank filter). #7 N 维 Wiener 滤波 器 wopt 由 一 个 具 
有 较 低 秩 M < 的 白 相关 矩阵 估计 求 得 , 则 称 这 种 Wiener 滤波 器 为 降 秩 Wiener 小 波 
器 。 
降 秩 Wiener 滤波 器 实现 有 三 种 常用 的 方法 : 
L Rake 
先 使 用 一 个 N x M 白化 滤波 器 , 将 N 维 观测 数据 向 量 x 压缩 为 一 个 M 维 向 基 。 
与 斥 缩 数据 向 量 对 应 的 下 相关 向 量 r,a 和 Wiener 滤波 器 均 变 为 M 维 向 量 。 
2. 主 分 量 分 析 法 
& X = [x(1),0(2),--- , a(L) WL x N BRER, HIRAMAN 
真一 IT 了 TV (8.7.54) 
式 中 , U 和 V OHA LX BSE (HA aA) 和 N x NRE (AE 
量 组 成 ); D 的 对 角 元 素 为 奇异 值 , 按照 ci > ca > … Boy 顺序 排列 。 由 式 (8.7.54) & 
RAPA BHM KR, = XTX 为 
È, =VAV"™ (8.7.55) 
式 中 , 4 = 3? 或 入 = 02. 车主 特征 值 A 的 个 数 为 D, 与 之 对 应 的 特征 向 量 为 va i= 
1,2,.… ,DD， 则 由 主 分 量 分 析 方 法 , 可 求 得 


D 
a(t) = D> amede(n), m= 2 N, n= (8.7.56) 
k=1 
式 中 
amk = VAme Mm=1,2, N= 1,2,---,D (8.7.57) 
1 
bn ln) = Titel m=1,2,---,N (8.7.58) 
Am 


RE, vme 是 v, 的 第 m 个 元 素 。 

利用 式 (8.7.56) 求 得 的 ziin) (n), ,Tw(n) 可 以 看 作 是 原 含 有 噪声 的 观测 数据 
的 降 秩 估计 。 将 这 些 估计 作为 输入 设计 出 来 的 Wiener 滤波 器 wwopt = 至 二 rua 即 为 降 秩 
Wiener 滤波 器 。 

3. 互 谱 测 度 法 

主 分 量 分 析 技 术 将 Wiener 滤波 器 的 秩 降 至 观测 数据 向 量 =(m) 的 信号 子 空间 的 有 效 
秩 D， 其 局 限 性 是 不 能 再 作 进一步 的 数据 压缩 。 为 了 克服 这 一 降 秩 局 限 性 ，Goldstein 与 
ReedItral 于 1997 年 提出 了 一 种 能 够 将 Winer 滤波 器 的 秩 降 至 有 效 秩 D 以 下 的 方法 。 


re pe ey, 
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车 记 渡 波 器 输出 向 量 g = [y(1), y(2),-+ (LI? AREY BE d= [a(1),4(2),… ， 
d(D)T， 则 滤波 器 方程 y(n) = wHa(n) 可 以 写作 
Y=Xw" (8.7.59) 
考查 降 秩 Wiener 滤波 器 输出 向 基 的 范 数 
Ey = YPY = way XX wry = Wop Rar Wopt = Mader led = TVA rod 


定义 p= [orpo onl = Vär WER E, 可 以 写成 


Byte Wo lee? 
E,=p'a aa Seven a (8.7.60) 


为 4= diag(Xi)。 

IÈ (8.7.60) 表明 ,滤波 器 的 L 个 输出 能 量 之 和 等 于 N 个 系数 91,6,… ,gw ZA, 
WOR 和 为 互 谱 能 量 或 测度 。 显 然 ， 若 选择 M 个 大 的 互 谱 能 量 抽 ,6,,… ,… Ong ME 
弃 其 他 小 的 互 谱 能 量 ， 将 能 够 保证 E, EN 维 观测 数据 空间 中 的 主要 贡献 。 仿 照 主 分 量 
分 析 方 法 , 找 出 与 M 个 大 的 互 谱 能 量 对 应 的 特征 向 量 ,用 这 M 个 特征 向 量 作为 信号 展 
FAHRE. 由 个 与 大 特征 值 对 应 的 特征 向 县 张 成 的 子 空间 称 为 信号 子 空间 。 与 此 类 
似 , 由 MM 个 与 大 互 谱 能 量 对 应 的 特征 向 量 张 成 的 子 空间 称 为 互 谱 子 空间 (cross-spectral 


subspace)。 
Wiener 滤波 器 输出 误差 向 量 为 "79 
e=d-Xw'=d-y (8.7.61) 
均 方 误差 为 F 
ele =o} — Ey =04— X 9y (8.7.62) 
kal 
AH, of = da. 


显然 ， 对 于 降 秩 Wiener 滤波 器 而 言 ,由 于 舍弃 的 只 是 很 小 的 互 谱 能 量 %， 使 得 为 
的 主要 贡献 得 以 保留 , 故 滤波 器 的 均 方 误差 将 只 是 稍 有 增加 。 从 这 个 角度 讲 ， 降 秩 逼 近 法 
表现 为 一 种 “数据 压缩 ”形式 。 


8.8 ”广义 特征 值 分 解 


前 面 几 节 讨论 了 单个 n x n 算 阵 的 标准 特征 值 分 解 及 其 应 用 。 从 这 一 节 开 始 , 我 们 
的 注意 力 将 陆续 转移 到 特征 值 问题 的 各 种 推广 。 本 节 先 考虑 两 个 矩阵 的 特征 值 分 解 ， 习 
惯 称 其 为 广义 特征 值 分 解 。 事 实 上 ， 单个 矩阵 的 标准 特征 值 分 解 是 广义 特征 值 分 解 的 一 


种 特例 。 
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8.8.1 广义 特征 值 分 解 及 其 性 质 


令 4 和 B 是 两 个 nxn 正方 矩阵 ， 它 们 纽 成 一 矩阵 束 (matrix pencil) 或 矩阵 对 
(matrix pair)， 记 作 (A,B). DAES RR) SURE: 求 所 有 的 标 二 A 使 得 方程 


Au = Bu (8.8.1) 


具有 非 零 解 w ¢ 0。 这 样 的 标量 AMPAH u 分 别称 为 矩阵 束 (A, B) 的 广义 特征 
{Ë (generalized eigenvalue) 和 广义 特征 向 量 (generalized eigenvector) 1。 一 个 上 义 特征 值 
和 与 之 对 应 的 广义 特征 向 其 合 称 | SURES, TPE (A, u)o I (8.8.1) 也 称 上 义 特 征 方程 。 
观察 知 , 特征 值 问题 起 当 和 矩阵 来 到 作 (AD) CEE. 

虽然 广义 特征 值 刊 三 义 特征 向 量 总 是 成 对 出 现 , 但 赵 广 义 特征 值 可 以 单独 求 出 。 这 
一 情况 与 特征 值 可 以 单独 求 出 类 似 。 为 了 单独 求 出 广义 特征 值 , 将 广义 特征 方程 式 (8.8.1) 
稍 加 改写 , 即 可 写作 

(A-AB)u =0 (8.8.2) 

如 果 上 式 括号 内 的 矩阵 4 一 和 AB EFRR K, M 义 特 征 方程 只 有 唯一 的 零 解 如 = 0. 显 
然 , 这 种 解 是 平凡 的 , 毫 无 意义 的 。 为 了 求 出 非 零 的 有 用 解 , 矩阵 A OB 就 不 得 具有 逆 
EME. RERE, 它们 的 行列 式 必须 等 于 零 ， 即 


(4 一 XB) 奇异 = det(A4 -XB)=0 (8.8.3) 


鉴于 此 , ERER (A, B) 义 常 表 未 为 A-— AB. 
对 于 n x n RERE (A,B), R (8.8.3) 是 一 个 n SIAR, BAY EL 
式 。 因此 , 矩阵 束 (A, B) 的 | 义 特征 值 是 满足 | 义 特 征 多 项 式 
det(A — zB) = 0 (8.8.4) 


的 所 有 解 2 (UTE). GEOR, AEE B 为 单位 矩阵 ， 则 广义 特征 多 项 式 退 化 为 
det(A — AT} = 0 即 特征 多 项 式 (8.1.5)。 从 这 一 角度 讲 , 上 义 特 征 多 项 式 是 特征 多 项 式 的 
推广 ,而 特征 多 项 式 是 广义 特征 多 项 式 在 B = 工时 的 一 个 特例 。 
车 将 矩阵 束 的 广义 特征 值 记 作 AA, 吾 )， 则 广义 特征 值 定义 为 
MA, B) = {z € C : det(A ~ zB) = 0} (8.8.5) 


定理 8.8.19 和 EC 和 we Cn DTI (A, Byun 的 广义 特征 值 和 广义 特 
征 向 量 , SARS 

(1) det(A — AB) =0. 

(2) we Nul(A — àB), FH u #0. 

无 论 是 在 自然 科学 还 是 技术 科学 中 , TREE EERE 


1 在 文献 [240, p.350]) 中 ,广义 特 征 向 基 定 义 如 上 ;假定 (太一 XDa = 0, už 0. 并且 存 存 向 直 v WE 
(及 -和 IT)v = w, 则 称 是 一 个 广义 特征 向 量 。 在 文献 [515, p.56] P. 则 将 对 某 个 正 整数 m, 满足 (A-AD)"™ 2 = 0 
Hae w 定义 为 广义 特征 向 苦 。 


8.8 广义 特征 值 分 解 517 


定义 8.8.1 tHaxn HM 4 和 BHJ Hermitian 矩阵 , 并 有 B 正定 , N (A,B) 
为 正则 矩阵 东 。 

于 则 矩阵 来 的 特征 值 问题 与 Hermitian 矩阵 的 特征 值 问题 非常 类 似 。 

定理 8.8.21360 车 Xi Ape ,和 EEWERER (A, B)nxn 的 广义 特征 值 , 则 


(1) 存在 矩阵 X s C"x”， 使 得 


XBX? =1„, XAX” = diag(Ap An sAn) 


XIBX=I,, AX=BXA 


BOP, A = diag(Ar Aa sAn) 
(2) 所 有 广义 等 征 值 都 是 实 的 , 即 A ER i=1,2 no 
(3) BAB X = fay, ey) 则 有 


Az, =4,Ba,, i=1,2, e,n 


H 一 
2; Bz; = by 


和 j= 
HH, 6; 为 Kronecker 5 263%. 

F 面 是 关于 广义 特征 值 河 题 Aw = 和 Bz 的 一 些 性 质 [238,PP-176~177]， 

(1) AHERE A 和 B 互 换 ， 则 广义 特征 值 将 变 为 其 倒数 ,但 广义 特征 向 基 保 持 不 变 ， 


即 有 1 
4z=AXBz > Br= XA 


(2) E B 非 奇 异 , 则 广义 特征 值 分 解 简化 为 标准 的 特征 值 分 解 
Ag=)dBe > (BT!lA)z =r 


(3) 若 A 和 B 均 为 正定 的 Hermitian HPF, 则 广义 特征 值 必定 是 实 的 , 并 且 与 不 同 
三 义 特 征 值 对 应 的 广义 特征 向 基 相 对 于 正定 矩阵 B EX, 


sf As; = zf Ba, =0 
(4) 车 4 和 BASHAM, 并 且 BEE M SORE Ar = ABe 可 
以 变换 为 标准 的 对 称 特征 值 问题 
(EL4E-T)(ETm) = MALTY) 


RP, bY KAM, 它 是 Cholesky 分 解 B = LLT 的 因子 。 
(5) 车 4 和 B 均 为 实 对 称 的 正定 矩阵 ， 则 广义 特征 值 一 定 是正 的 。 
(6) WR 4 BH, 则 入 = 0 必定 是 一 个 广义 特征 值 。 
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(1) 车 各 = B+ (1/a) 4, 其 中 , a 是 任意 一 个 不 等 于 零 的 标量 , 则 修正 的 广义 特征 


值 问题 
Ag =i Ba 

的 广义 特征 值 与 原 / 义 特 征 值 和 之 间 存 在 下 列 关系 : 
1 1 1 
页 一 二 


这 里 给 出 性 质 (3) 的 证 明 ; 用 z8 ER 4z = ABs, 得 
at As = a" Be £0 


WH. FAHER A 和 B 的 Hermitian 性 , 立即 有 


a! As = a" Ba 40 
由 以 上 两 式 ,立即 知 
det Ba = Ma" Ba => = à 
因为 Aw Be > 0。 对 于 广义 特征 值 A, AA; A 
Ag,=),Bx, Ax; =,Bx, a) 
Ach Alo} 分 别 左 乘 上 式 ， 则 
Ag, =e Ba, af Aa; = No By; 
于 是 
QO, -Aaf Bzr; =0 = gf Bej =0 


8 acl Be, = 0 RAR (1) 并 注意 到 A; 4A; BH wf Aw, = 0。 
此 外 , 文献 [238, p.177] 还 将 “ 若 BB 奇异 , 则 A co 一 定 是 一 个 广义 特征 值 ” 列 为 


性 质 之 一 。 需要 指出 的 是 , 这 一 性 质 并 不 成 立 ， 请 看 下 面 的 反例 : 
4=[ ai 一 X30 
A= lo al B= al — A,B) = {0} 
A= lo al B= 中 — ”X(4,B) 任 意 
这 表明 , 与 矩阵 Ann 存在 n 个 特征 值 (多 重 特征 值 计 算 多 重 数 在 内 ) 不 同 , 当 Basn A 


异 时 , ERIR (A, B) 的 广义 特征 值 有 可 能 只 有 一 个 , 并且 不 一 定 取 无 穷 大 。 
严格 说 来 ， 上面 介绍 的 广义 特征 向 量 u 称 为 矩阵 束 的 右 广 义 特征 向 量 。 与 广义 特征 
值 对 应 的 左 特征 向 量 定义 为 满足 
vHA= wB (8.8.6) 
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的 列 向 量 w。 令 X AY 均 为 非 奇 异 矩 阵 ， 则 由 式 (8.8.1) 和 式 (8.8.6) 立即 知 


XAu = AXBu (8.8.7) 
vwHAY = MHBY (8.8.8) 


这 表明 , HER (A,B) ASR AGERE, TARR) RE: MERG 
乘 韭 奇异 矩阵 ， 则 不 改变 左 广 义 特征 向 量 。 

在 很 多 应 用 中 , 往往 只 使 用 广义 特征 值 (如 稍 后 将 介绍 的 ESPRIT 方法 )。 在 这 种 情 
况 下, 等 价 矩 阵 来 是 一 个 非常 有 有 几 的 概念 。 

定义 8.8.2 所 有 广义 特征 值 相同 的 两 个 矩阵 旧称 为 等 价 矩 阵 呆 。 

由 广义 特征 值 的 定义 det(A 一 AB) = 0 和 行列 式 的 性 质 , 易 知 


det( XAY -AXBY)=0 += det(A- XAB)=0 


RE, 矩阵 束 左 乘 任 意 一 个 非 奇 异 矩 阵 与 (或 ) GREER — TRA ERE. TAREE 
阵 束 的 广义 特征 值 。 这 一 结果 可 以 总 结 为 下 面 的 命题 。 

命题 8.8.1 EX AY 是 两 个 非 奇 蜡 矩阵 , 则 (XAY,XBY) fl (A,B) 是 两 个 等 
价 的 和 矩阵 束 。 


8.8.2 广义 特征 值 分 解 算法 


一 个 简单 事实 是 : 若 4 和 B DY Hermitian 和 矩阵， 并 用 B 正定 ( 即 非 奇 异 ) 时 , 广 
义 特 征 值 分 解 公式 (8.8.1) 可 等 价 改写 为 


AB 'u= Xu (8.8.9) 


即 广 义 特征 值 分 解 变 为 Hermitain 矩阵 的 标准 特征 值 分 解 。 
下 面 的 算法 使 用 压缩 映射 计算 n x n 实 对 称 矩阵 束 (A, B) 的 广义 特征 对 (A uhe 
算法 8.8.1 (广义 特征 值 分 解 的 Lanczos $£7h) (997.7298) 
步骤 工 初始 化 
选择 范 数 满足 Ba = 1 的 向 量 u 并 令 a = 0 zy = w = 0, z; = Bue 
步骤 2 对 i 二 1,2,…,n, 计算 
u = Au, — jZ; 
Bi = (uu) 
be BiZi 
w= Bote 
aigi = y (w, u) 
Wip = w/a 
Zipi = Uf Oi 


A = Biyi igi 
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广义 特征 值 问题 也 可 等 价 写作 
aAu = Bu (8.8.10) 


此 时 ,广义 特征 值 定义 为 入 = B/ao 

下 面 是 计算 nxn 对 称 正定 矩阵 束 (4, B) 的 广义 特征 值 分 解 的 正切 算法 , 它 是 Drmac 
于 1998 年 提出 的 139。 

算法 8.8.2 (对 称 正 定 矩 阵 束 的 广义 特征 值 分 解 ) 

步骤 1 WH Ay =diag(Ay, Ag, Ann), A = 4AM, Ñ B, = 44B44。 

步骤 2 计算 Cholesky 分 解 RGR, =A, 和 RBRs = UB FRE I 为 
置换 矩阵 ， 参 见 4.6 节 )。 

步骤 3 道 过 求解 矩阵 方程 PRs = AU, 计算 F= AILRB。 

PRA 求 巨 的 奇异 值 分 解 允 = VEU". 

步骤 5 WH X = 44 了 五 RE5IU。 

输出 MEX Al 5 AX = BXD?。 

当 矩 阵 B 奇异 时 ,以 上 两 种 算法 将 是 不 稳定 的 。 ERE BOT EPR (4, B) 的 
广义 特征 值 分 解 算法 由 Nour-Omid 等 人 B39 提出 。 这 种 算法 的 主要 思想 是 , 通过 引入 一 
BARF o, 使 (A-oB) 非 奇异 。 

算法 8.8.3 (B 奇异 时 的 广义 特征 值 分 解 算法 )1238],ls97, p.299) 

步骤 1 初始 化 

选择 Range[(A—oB)—'B] 的 基 向 量 w, 计算 zi = Bw, œ = Vw, zih 令 tty = 06 

$R2 对 i=1,2,…,n, 计算 

u; = w/a, 
2z,=(A—cB)"'w 
W = W — OU 

pi = (w, 24) 


Zi = Bw 


Qipi = y Fir w) 
Ai = fify 


8.8.3 ”广义 特征 值 分 解 的 总 体 最 小 二 乘 方法 


在 广义 特征 值 分 解 的 应 用 中 ， 我 们 往往 只 对 非 零 的 广义 特征 值 感 兴趣 ,因为 这 些 非 
零 的 广义 特征 值 的 个 数 反 映 了 信号 分 量 的 个 数 , 而 广义 特征 值 本 身 则 往往 隐 含 了 信号 参 
数 的 有 用 信息 。 然而 , 在 实际 应 用 中 , 信号 分 量 的 个 数 常常 是 不 知道 的 ， 需要 估计 。 通常， 
矩阵 束 (A, B) 的 维 数 往往 取 比 信号 分 量 实际 个 数 大 的 整数 。 另 一 方面 , 矩阵 AAB 
常常 分 别 由 观测 数据 向 量 的 自 相关 矩阵 利 互相 关 和 矩阵 构成 。 在 实际 应 用 中 , 这 些 相关 算 
阵 中 的 自 相关 函数 和 互相 关 衣 数 往往 由 比较 短 的 观 浏 样本 数据 估计 得 到 ,存在 比较 大 的 
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估计 误差 。 SERENE BOR AAA ERA REBATE, AER 
桌 的 非 零 广义 特征 值 的 估计 成 为 最 小 一 乘 算 子 。 

Roy 和 Kailath 指出 899, 最 小 二 苹 算 子 会 导致 在 求解 义 特征 值 问 题 的 某 些 潜在 
的 数值 困难 。 前 面 两 章 已 详细 分 析 了 奇异 值 分 解 (SVD) 和 总 体 最 小 二 乘 (TLS) 的 应 用 可 
以 将 一 个 较 大 维 数 (m x m) 病态 最 小 二 乘 问题 转化 为 一 个 较 小 维 数 (px p) 的 无 病 术 总 
体 最 小 二 乘 问题 。 因 此 , 求解 广义 特征 值 问题 的 总 体 最 小 一 乘 方法 成 为 | 义 特征 值 分 解 
应 用 中 的 一 种 白 然 选择 。 

己 提 出 了 多 种 求解 广义 特征 值 问题 的 总 体 最 小 二 乘 方法 。 这 些 方法 的 中 心思 想 都 是 
AAAS IIE SCRE n PARETA ENE KARERE 
阵 束 转化 为 一 个 小 维 数 的 矩阵 束 。 这 些 方法 需要 的 奇异 值 分 解 次 数 各 不 相同 。 其 中 , Zhang 
和 Liang 5% 提出 的 方法 只 需要 1 次 奇异 值 分 解 ， 是 计算 最 简单 的 。 

考虑 矩阵 束 (A, B) 的 广义 特征 值 分 解 。 令 A 的 奇异 值 分 解 为 


x, ojfvi 
A=UEV#=[U,, Uy] [a a [va (8.8.11) 


AP, 2, 由 p 个 主 奇异 值 组 成 。 在 不 改变 广义 特征 值 的 条 件 上 ,可 以 用 OF ERAH 
V, ARER 4 一 YB, 得 到 
£, -UËBV, (8.8.12) 

现在 ， 原 较 大 维 数 的 矩阵 束 (A, B) 的 广义 特征 值 问题 便 变 成 了 较 小 维 数 (p x p) 的 矩 
阵 束 (X, UBV) 的 广义 特征 值 问题 。 这 一 方法 称 为 上 义 特征 值 分 解 的 总 体 最 小 二 乘 
方法 。 
8.8.4 ”应 用 举例 一 一 ESPRIT 方法 

ESPRIT 是 借助 旋转 不 变 技术 估 讨 信号 参数 (estimating signal parameter via rota- 
tional invariance techniques) 的 英文 缩写 。ESPRIT JERTEH Roy 等 人 B 于 1989 
年 提出 的 , 现 已 成 为 现代 信号 处 理 中 一 种 主要 方法 , 并 得 到 了 广泛 的 应 用 。 

考虑 白 噪声 中 的 p 个 谐 波 信号 


a(n) = Sham +w(n) (8.8.13) 


i=] 
式 中 ，s 和 w; € (一 ,7) 分 别 为 第 i 个 谐 波 信号 的 复 幅 值 和 频率 。 假定 w(n) 是 一 零 均 
fl. 方差 为 o? 的 复 值 高 斯 白 品 声 过 程 ， 即 
Ef{w(k)tw* (2)} = 06(k — 2) 
E{w(k)w()} 0, Yk, 
现在 的 疝 题 起 只 根据 观测 数据 z(1),z(2),…. ,x(N), 估计 谐 波 信号 的 个 数 p 和 频率 w, 


oa ps 
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定义 一 个 新 的 过 程 y(n) & s(a +1). 选择 m > p, 并 引入 以 下 m x 1 维 向 量 : 


x(n) & e(n) efn +1), a(n +m—D]™ (8.8.14) 
win) E [w(n), win + 1),--- ,wnt+m— DT (8.8.15) 
y(n) Ë yin), ym Dy ye tm — VT 

= [2(n+ 1), 2(n 4 2),-+> ,zn + m) (8.8.16) 
afar) E [1a ,0 meg? (8.8.17) 


丁 是 , 式 (8.8.13) 可 以 写作 向 量 形式 : 


Z(n) = Aa(n) + w(n) (8.8.18) 

另 有 
y(n) = APs(n) + w(n+ 1) (8.8.19) 

式 中 
A® lalan), ew2), ,a(wp)] (8.8.20) 
a(n) © [sdn saeican ,spei sn]T (8.8.21) 
SE diag(e ,ci2,... el) (8.8.22) 


ER, 6 是 一 酉 矩阵 ， 即 有 HB = BH I, 它 将 空间 的 向 量 a(n) 和 y(n) 联系 在 一 

起 ; 矩阵 A 是 一 个 m xp HE Vandermonde 矩阵 。 由 于 y(n) = zn 十 1), 故 y(n) 可 以 看 

fee a(n) 的 平移 结果 。 鉴 于 此 , 矩阵 被 称 作 旋 转 算 符 , 因为 平移 是 最 简单 的 旋转 。 
观测 向 量 e(n) 的 自 相关 和 矩阵 为 


Ras = E{e(n)a(n)} = APA® + °F (8.8.23) 


式 中 
P =E{a(n)s"(n)} (8.8.24) 
是 信号 向 量 的 相关 矩阵 。 若 各 信号 不 相关 ,， 则 P = diag(E{|s1|?),… ,BE{lspl?}) 是 一 个 
pxp SAH, 其 对 角 线 上 的 元 素 为 各 信号 的 功率 。 在 ESPRIT 方法 里 , RERE P 
非 奇 异 ， 并 不 要 求 它 一 定 是 对 角 和 矩阵 。 
向 量 a(n) 和 y(n) 的 互相 关 矩 阵 为 


R, = E{x(n)y*(n)} = AP BUA + o° Z (8.8.25) 
RIP, 0? Z = E{w(n)w™(n + 1)}。 容易 验证 ，2 是 一 个 m x m 特殊 矩阵 ， 
0 0 
1 0 
Z=| . (8.8.26) 
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即 主 对 角 线 下 面 的 对 角 线 上 的 元 素 全 部 为 1, AICHE T 0。 
由 自 相 关 短 阵 的 元 素 (Reels = E{z()2"(y)} = Reali — i) = 局 sj 一 相知 


[ R0) RUO) Bem) 
pao) =O RaO o Rislm—2) asan 
Ryg~1) Rem-3 > Ra) | 


类 似 地 , HKEEREN [Rely = Ery G)} = E{e(i)e*G+1)} = Rli-j-1) = 
R39 一 i 二 1), WA 


p Ril) BR) Elm) 
Ry | O ED Rm (a2) 
LRee(m~2) Ryg(m—3) RD | 


注意 , R,.(0) = Ri, (0)- 

现在 的 问题 是 : Ean AKKA B,,(0), Riz (1),… ,zolm)， 如 何 估 计 谐 波 信 号 的 
个 数 p、 谐 波 频率 o, 以 及 谐 波 功率 |si? (i = 1,2,---,p)? 

向 量 a(n) 经 过 平移 , ÆA y(n) = zw(n+1), 但 是 这 种 平移 却 保 持 了 e(n) 和 y(n) 对 应 
的 信号 子 空间 的 不 变性 。 这 基因 为 Roa £ E{a(n)e(n)} = Bfa(n+ a (n+ 1} © Ryp 
它们 完全 相同 ! 

对 Ror 作 特 征 值 分 解 , 可 以 得 到 其 最 小 特征 值 xmin = 07 0 HOE — HT BT AE 


Coe = Rys — Àmin T = Rss — oI = APA” (8.8.29) 
Coy = Ray — Amn Z = Ray 一 022 = AP BIST (8.8.30) 


(Crazy Cay) AREER. 
FARMER 
Crug — YC ry = AP(I — 78") AN (8.8.31) 
由 于 A 满 列 秩 和 P 非 奇 异 , PTDL ARERR, 式 (8.8.31) 可 以 写作 
rank(Css — Czy) = rank(T — y8”) (8.8.32) 


当 了 天 由宇 = 1,2,… ,Pp 时， 矩阵 78) BARA. My ae 时 ， 由 于 
qei: = 1, 所 以 年 阵 (一 7 旬 ) 奇异, R. XA, i i= 1,2,--- ,p 都 是 矩阵 柬 
(Ce Coy) 的 广义 特征 值 。 这 一 结果 可 以 用 下 面 的 定理 加 以 归纳 。 

定理 8.8.3 定义 卫 为 矩阵 点 (Cs, Coy) 的 广义 特征 值 矩 阵 ， 其 中 ，Ceo = Ree 一 
Amin» Cry = Ray — Amin» H Amia REM Ros 的 最 小 特征 值 。 若 矩阵 P 非 奇 


min zy 


异 , MERE T 与 旋转 算 符 矩阵 8 之 间 有 下 列 关系 : 


r= (6 ol (8.8.33) 


524 第 8 章 特征 分 析 


即 r 的 非 零 元 素 是 旋转 算 符 矩阵 S 的 各 元 素 的 一 个 排列 。 
基本 的 ESPRIT 算法 让 总 结 如 下 。 
算法 8.8.4 (基本 ESPRIT 算法 1) 
SRI 利用 已 知 观测 数据 z(1),z(2),… ,xz(N) ft AAW Rss(0), Rss(1),…… ， 
Rosslm)e 
步骤 2 由 佑 计 的 白 相 关 阵 数 构造 mxm 自 相关 矩阵 Ro Wom x m 互相 关 矩 阵 
Raye 
步骤 3 R Ro 的 特征 值 分 解 。 对 上 和 m > p BSE WRE TS o? 的 估计 。 
FRA AA? 计算 Co = Ras PI 和 Coy = Ry 一 022。 
BRS REER (CorCap) 的 广义 特征 值 分 解 ,得 到 位 于 单位 圆 上 的 个 广义 特 
征 值 6%,i 二 1,2,… ,p, 它们 直接 给 出 谐 波 频率 。 
特别 地 ， 当 各 谐 波 信号 31(n),… ,sp(n) 相互 独立 时 , 我 们 还 可 以 计算 出 各 谐 波 的 功 
率 E{jsil?}, i=1,2,… ,2p。 在 信号 相互 独立 的 条 件 ,矩阵 


P = Ef{a(n)s" (n)} = diag(E{|9,?},--- ,BEflszP) 


AXIER. 令 e 是 对 应 于 UREE x 的 广义 特征 向 量 。 由 定义 知 , e, 满足 关系 式 
4P4Hei; = y APS" A'e; (8.8.34) 
或 等 价 于 
eFAP(I — 1,8") AMe, =0 (8.8.35) 


显而易见 , HAER PU 一 7,0") 的 第 i 个 对 角 元 素 等 于 零 ,而 其 他 对 角 元 素 不 等 于 零 
(用 x 表示 , 它 是 我 们 不 感 兴趣 的 }, 即 


P(E — 7,8") =diag(x,--- ,x,0,x,---, x) (8.8.36) 
故 知 ， 为 保证 式 (8.8.35) RE, eA 和 4Hei 必然 具有 以 下 形式 ; 


eA = [0,--- ,0,efa(w,), 0,.… ,0] (8.8.37) 
el = [0,--- 0,47 (w,)e;,0,-++ ,OT (8.8.38) 


也 就 是 说 , 与 广义 特征 值 x 对 应 的 广义 特征 向 量 es 与 除 方向 向 量 afu) 以 外 的 其 他 所 
有 方向 向 量 a(wj), ji EZ 另 一 方面 , 对 角 和 矩阵 noT 的 (i, 人) 元 素 等 于 1, 即 


yp! = diag(e I", eT, Leet, ee) (8.8.39) 


将 C,, = APAT RAK (8.8.35), 得 


eH AP, p” Abe, = e'C,.€; (8.8.40) 


8.8 广义 特征 值 分 解 525 


将 式 (8.8.37)、 式 (8.8.38) 和 式 (8.8.39) 代入 式 (8.8.40), 并 注意 到 P 是 对 角 和 矩阵 ， 则 有 


E(loln)|?HePatw)l? = ef Csse (8.84D) 
即 
(lin) = Sees (8.8.42) 


这 就 是 当 各 信号 相互 独立 时 , 各 信号 功率 的 估计 公式 。 

以 上 介绍 的 基本 ESPRIT 方法 可 以 看 作 是 一 种 最 小 一 乘 筑 和子， 其 作用 是 将 原 m HE 
观测 空间 约束 到 ~ 个子 空间 (其 维 数 等 于 波 达 方向 个 数 p)。 因 此 ,这 种 基本 ESPRIT 方 
法 有 时 称 作 LS-ESPRIT 算法 。 前 已 分 析 过 , 将 总 体 最 小 二 乘 方法 的 思想 应 用 于 广义 特征 
值 分 解 ， 可 以 改善 其 数值 性 能 。 因 此 ， 对 ESPRIT 方法 有 必要 使 用 下 面 的 总 体 最 小 二 乘 
算法 。 

算法 8.8.5 (TLS-ESPRIT 算法 )[5osl 

PRI 进行 矩阵 Ros 的 特征 值 分 解 。 

步骤 2 利用 最 小 特征 值 c 计算 Co = Ry, 0I M Coy = Ry 022。 

PRI (HM Css 的 奇异 值 分 解 , 确定 其 有 效 秩 ， 并 存储 与 p 个 主 奇异 值 对 应 的 
E U, 和 Vi。 

步骤 4 计算 DECoyV1。 

步骤 5 KERER (X, UCV) 的 广义 特征 值 分 解 ， 得 到 单位 圆 上 的 广义 特征 
值 , 它们 直接 给 出 谐 波 频率 。 

业已 证 明 , 虽然 LS-ESPRIT 和 TLS-ESPRIT 给 出 相同 的 渐 近 (对 大 样本 ) 估计 精度 ， 
但 是 在 小 样本 时 TLS-ESPRIT 总 是 比 LS-ESPRIT 好 。 此 外 , 与 LS-ESPRIT 不 同 , TLS- 
ESPRIT 考虑 了 Cos 和 Coy 二 者 的 噪声 影响 , 所 以 比 LS-ESPRIT 更 合理 。 


8.8.5 ”相似 变换 在 广义 特征 值 分 解 中 的 应 用 

考查 一 个 由 m 个 阵 元 组 成 的 等 距 线 阵 。 如 图 8.8.1 所 示 , 现在 将 这 个 等 距 线 阵 分 为 
两 个 子 阵列 , 其 中 , 子 阵列 1 由 第 1 个 至 第 m 一 1 个 阵 元 组 成 , 子 阵列 2 由 第 2 个 至 第 
m 个 阵 元 组 成 。 


子 阵 列 1 
子 阵列 2 


图 8.8.1 ”阵列 分 成 酚 个 子 阵列 


526 第 8 章 特征 分 析 


& mx N EE 
X = [w(1),@(2),--- ,@(N}] (8.8.43) 
ARSE EF ME ME, 其中，z(n) = [m (n),22(n),--- Emin] 是 m 个 阵 元 在 n 
时 刻 的 观测 信号 组 成 的 观测 数据 向 量 ; 而 N 为 数据 长 度 , 即 n= 1,2,--- No 
ES 


S = [s(1), (2),... , s(N)] (8.8.44) 


代表 信号 矩阵 , RP, s(n) = [s (n) s2(m),… ,8,(n)|" 表示 信和 号 向 量 , 则 对 丁 N 个 快 拍 
的 数据 , 式 (8.8.13) 可 以 用 算 阵 形式 表示 成 


X = [#(1),x(2),--- ,oN)] = AS (8.8.45) 


RP, A 是 mx p 阵列 方向 矩阵 。 
令 J, Al J, 是 两 个 (m 一 1) x m 选择 矩 阵 , 且 有 


万 = Emi 1 Oma) (8.8.46) 
Ja = Omi | Emal (8.8.47) 


RP, Ima 代表 (m — 1) x (m 一 1) PRERE, Om- 表示 (m-1) x 1 零 向 量 。 
用 选择 矩阵 J, 和 J 分 别 左 乘 观测 数据 矩阵 X, 得 到 


X, = TX = [m (1), 21(2), 0, (N)] (8.8.48) 
Xa = J2X = [oflj,za(2) ,æa(N)] (8.8.49) 
式 中 
a(n) = [e (n) zan), ema, 2 =1,2-5N (8.8.50) 
a(n) = [zon), Zar) Emn], n=1,2,---,N (8.8.51) 


即 是 说 , WIGER X, 由 观测 数据 矩阵 X 的 前 m — 1 行 组 成 , 相当 于 子 阵列 1 的 
观测 数据 矩阵 ; X, 则 由 X 的 后 m- 1 行 组 成 , 相当 于 子 阵列 2 ASEH EE 


令 
A _ [第 1 行 
e [PAT (6852 
则 根据 等 距 线 阵 的 阵列 响应 矩阵 A 的 结构 知 , THERE A, 和 A, 之 间 存 在 以 上 关系 ， 
A, 一 所 下 (8.8.53) 


容易 验证 
X,= AS (8.8.54) 
X,=A,S =A, 8S (8.8.55) 
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由 于 多 是 一 再 矩阵 ， 所 以 X, A X, RAHA SLA FEI, BOCES 1 
和 子 阵列 2 具有 相同 的 观测 空间 (信号 子 空间 + 曲 卢 子 空间 )。 这 就 是 等 季 线 阵 的 平移 不 
变性 的 物理 解释 。 
由 式 (8.8.23) 得 
R,, = APA" +071 


vnos 2 
= (U,2,,0°U,] 加 
= UBUR +oU .UR (8.8.56) 
由 于 I 了- UU = UUN, 故 由 式 (8.8.56) BH 
APA" + o2U US = U, DUE (8.8.57) 
AU, 右 乘 上 式 两 边 , 注意 到 UFU, =I, 并 加 以 重 排 ， 即 得 
U,=AT (8.8.58) 
式 中 , 了 是 一 个 非 奇异 矩阵 , H 
T = PA"U,(2,- 07D)! (8.8.59) 


BRT ERIE, BERETE PH “WSR”, RABE 
非 奇 异性 。 用 T AIRA (8.8.52), WA 


AT = [| = weal (8.8.60) 
采用 相同 的 分 块 形式 , HU, 也 分 块 成 
U,= lan 1 行 = m] (8.8.61) 
由 于 AT=U,, MERR (8.8.60) 与 式 (8.8.61), 立即 有 
U,=A,T (8.8.62) 
U, = AT (8.8.63) 


将 式 (8.8.53) 代入 式 (8.8.63), 即 有 
U, =A oT (8.8.64) 


由 式 (8.8.62) 及 式 (8.8.64), XE 


UTET = ATT ‘ST = APT =U, (8.8.65) 
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定义 
=T ST (8.8.66) 
MRE 更 称 为 矩阵 的 相似 变换 ， 因 此 它们 具有 相同 的 特征 值 ， 即 更 的 特征 值 也 为 
em, m=1,2,...,M。 
将 式 (8.8.66) HLA (8.8.65), 则 得 到 一 个 重要 的 关系 式 , B 


Us=Ui (8.8.67) 


st (8.8.67) 启迪 了 基本 ESPRIT 算法 的 另 一 种 算法 。 

算法 8.8.6 (基本 ESPRIT 算法 2) 

SR 计算 阵列 协 方差 矩阵 R,. WHEAT Ro = Or". 

SR MMOS RK, 的 p 个 主 特征 值 对 应 的 部 分 组 成 O,. 

步骤 3 HNO, MAE m 一 1 TAREE Ó 后面 m 一 1 行 组 成 矩阵 Oy. HE 
更 = (O80) OPO, 的 特征 值 分 解 。 矩阵 更 的 特征 值 dhi = 1,2,… ,9) 给 出 估计 值 
Oy i =1,2,-++ ,po 

ESPRIT Fea FSA AE REPARER, JO BAY 
读者 可 参考 文献 [523] 。 


8.9 Rayleigh 商 


在 物理 和 信息 科学 技术 中 , 常常 会 遇 到 Hermitian 矩阵 的 二 次 型 函数 的 商 的 最 人 化 
或 者 最 小 化 。 这 种 商 有 两 种 形式 ， 它 们 分 别 是 一 个 Hermitian 矩阵 的 Rayleigh 商 (有 时 
FERM Rayleigh-Ritz Lt) 利 两 个 Hermitian 矩阵 的 广义 Rayleigh 商 (或 广义 Rayleigh-Ritz 
比 )。 

8.9.1 Rayleigh 商 

在 研究 振动 系统 的 小 振荡 时 , 为 了 找到 合适 的 广义 坐标 , Rayleigh 于 1930 年 代 提出 
了 一 种 特殊 形式 的 商 B34, 被 后 人 称 为 Rayleigh Mo KERER RHH Rayleigh 
商定 义 。 

定义 8.9.1 Hermitian 矩阵 A € Crxn 的 Rayleigh 商 或 Rayleigh-Ritz 比 R(x) 是 
一 个 标量 , 定义 为 


H 
R(x) = R(x, A) = =e 


，z 是 待 选择 的 向 其 , 其 日 的 是 使 Rayleigh 商 最 大 化 或 者 最 小 化 。 
Rayleigh 商 的 重要 性 质 如 下 (9981258) Ia。 
性 质 1 ( 齐 次 性 ) 车 a 和 6 为 标量 , 则 


(8.9.1) 


R(aw, 8A) = BR(z,A) (8.9.2) 
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证 明 根据 定义 8.9.1, BH 


* HH 
R(am, BA) = ve pace = BR(z, A) 
这 即 是 需要 的 结果 。 a 
性 质 2 (平移 不 变性 ) 
R(æ, A — aI) = Red-a (8.9.3) 


证 明 直接 计算 Rayleigh 商 , 得 


Ræ, A— ad) = DA z fe - Zola = R(x, A) -a 
这 就 证 明了 本 性 质 。 a 
性 质 3 ( 正 交 性 ) 
z1 (A- Rona (8.9.4) 


证 明 由 定义 8.9.1 知 et Ae = RlzjzHz， 或 写作 zH[4 — Rade = 0, BIA 
al (A—R(x)I)z. E 

性 质 4 (有 界 性 ) 当 向 量 x 在 所 厂 非 零 向 量 的 范围 变化 时 ，Rayleigh 商 R(z) 落 在 
一 复 平面 的 区 域 ( 称 为 矩阵 4 的 值 域 ) 内 。 这 一 区 域 十 闭合 的 、 有 界 的 和 凸 的 。 车 4 是 
Hermitian 的 ， 即 满足 4 = AF, 则 这 一 区 域 是 一 个 闭 区 间 As Anlo 

TEE 5 {最 小 残 差 ) 对 于 所 有 向 量 > AO 和 所 有 标量 p EE 


4 ~ Rg) za} < iil — oT al (8.9.5) 


关于 有 界 性 , 可 进一步 参考 文献 [299]。 

Hermitian 矩阵 的 Rayleigh 商 的 有 界 性 可 以 用 下 面 的 定理 严格 叙述 。 

定理 8.9.1 (Rayleigh-Ritz 定理 ) 4 A e€ Cnxn 是 Hermitian 的 , 并 令 4 的 特征 值 
按 递 增 次 序 


Amin = At S Ag SS Aat L Àn = Amn (8.9.6) 


排列 ， 则 


a Ay THA ye 
BOS He 7 aM, wig Amer Am = Amac? (8.9.7) 


TEn = min wt Ae = Ami 
z0 Ha wp=1 ele min? 
更 一 般 地 , 矩阵 A 的 所 有 特征 向 量 和 特征 值 分 别称 为 Rayleigh W R(E) 的 临界 点 (critical 
point) 和 临界 值 (critical value). 

这 个 定理 的 证 明 方 法 有 多 种 ， 例 如 参考 文献 [184 [211]. 95]。 下 面 采用 的 是 文献 
[184] 的 证 明 方 法 。 


# Aw = Apin? (8.9.8) 
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证 明 Ha ZO, Ill 


和 
(Zire) (vie) =? 
Tide, Rayleigh 商 具 有 - 面 的 等 价 表 示 : 


a Ags 
ate 


H Až 
Bae 


(8.9.9) 


lee 二 二 =1 


RH, ë= Te 起 具有 单位 范 数 ao = 1 的 向 量 。 式 (8.9.9) 表明 , 在 使 Rayleigh 商 最 
小 化 或 者 最 大 化 时 , 可 以 选择 具有 单位 范 数 的 向 量 w。 

内 为 A 是 Hermitian 矩阵 ,所 以 存在 一 个 西 矩阵 U, 使 得 A= UAU", 其 中 , A= 
diag(A1; Àz ,An)。 XEFES FIH æ eC", 我 们 有 


z" As = THU AUNS = (U" x) A(U" s) 
=a |0") 
i=1 


都 是 非 负 的 , BE 


2 


由 于 每 一 项 |(URs) 


n n n 
Amin > (Rx)? < Aw = J NOU) < Anax 2 MOM), ? 
i=l i=l al 


注意 到 U EHER, 又 有 


n 2 a 
Dw, =? = e"s 
i=l i=l 

这 就 证 明了 
minzHz < ot Ag < Amase (8.9.10) 


车 选择 向 量 > 是 与 Hermitian FEM A 的 最 小 特征 值 wi 相对 应 的 特征 向 量 , 则 
AS = Xuminz => BY AD = Kevin te 


HX (8.9.10) 第 一 个 不 等 式 取 等 号 的 条 件 基 Aw = 和 nw。 类 似 地 ， 若 选择 向 量 = 是 与 
Hermitian EPF A 的 最 大 特征 值 Amwin 相对 应 的 特征 向 量 ， 则 


Ad = dinax® => TÏ AT = Ange te 


即 式 (8.9.10) 第 二 个 不 等 式 取 等 号 的 条 件 是 As = Xunaxz。 
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由 丁 内 积 Te 为 标量 , 故 式 (8.9.10) 可 等 价 写作 


第 一 个 不 等 式 取 竺 号 的 条 件 是 Ar = Amiot: 第 -- 个 不 等 式 取 等 号 的 条 件 是 At = Amaze 
这 就 完成 了 定理 的 证 明 。 L] 

下 面 考虑 Rayleigh 商 的 梯度 与 Hessian ERE ( 即 梯度 的 梯度 )210,85。 为 简便 计 , 将 
Rayleigh 商 R(x) 简 记 作 Re 


Rayleigh 商 的 梯度 为 
oR 
Va = 3s -i — RN)z (8.9.11) 
而 Rayleigh 商 的 Hessian 矩阵 为 
Hy = -aa = 2 [4-ve(Ror-ovz(Pe-B (8.9.12) 
? dada feli z z “ 


Fu diy f= 1,2,--- n DARE 4 的 特征 向 量 和 特征 值 , 邮 它 们 分 别 是 Rayleigh 
商 的 临界 点 和 临界 值 ， 即 有 


(ai = Ai 一 了 2 (8.9.13) 
计算 Hessian 矩阵 在 临界 点 u; 的 值 ， 易 得 
Hr(u) = AAT, c= Nn (8.9.14) 


由 式 (8.9.14) 可 得 两 个 重要 结果 : 
(1) Hessian 矩阵 的 行列 式 


det[H p(u,)] = det(A -和 XDD=0 (8.9.15) 


为 4 -zz 是 矩阵 4 的 特征 多 项 式 。 上 式 意 味 着 Hessian 矩阵 H pglu) 对 于 
所 有 临界 点 au AOE ETB. 
(2) 用 向 量 u 右 乘 式 (8.9.14), 立即 有 


Ha(wa)u; 一 (入 一 AD = Au, 一 Ayu, = Nu — Nu 
因为 Au; = Ajue EREE 


j=i 
H r(u;)u; = fo, -Aup ji (8.9.16) 
这 说 明 , 由 Rayleigh 商 的 临界 点 计算 得 到 的 Hessian FEM H r(u,) SHEE 4 R 
有 相同 的 特征 向 量 , 但 特征 值 不 同 。 此 外 ， 由 于 A; - Ann 兰 0， 故 只 有 在 临界 点 
thin 的 Hessian 矩阵 是 半 正 定 的 , 满足 HR(wwmin) > Oo 
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关于 Rayleigh 商 , 还 有 下 面 的 重要 定理 2, 
定理 8.9.2 {Courant-Fischer 定理 ) $ nxn 矩阵 A X Hermitian 矩阵 ， 其 特征 值 
Ady Bg Be An MAL (Sk Sn) 服从 关系 式 
‘ HA 
入 一 Sidim(Bjon—k+) wes zo { Se} (8.9.17) 
证 明 令 uug tn 分 别 是 矩阵 A 与 特征 值 入 ,Xs,… ,和 对 应 的 特征 向 量 , 并 
且 它 们 组 成 子 空间 5 的 一 组 标准 正 交 基 ， 即 S = Span{wi, Wo,… ,Wn}。 又 令 p(5) = 
max wHAZ/(zHz) 表示 Rayleigh 商 在 子 空间 5 的 所 有 非 零 向 量 范围 内 的 极 大 值 。 若 5 
是 由 前 大 个 特征 向 量 张 成 的 子 空间 , 即 S, = Span{fa az up} W k 维 向 量 空间 S, 
是 n 维 向 量 空间 5 的 子 空间 , 这 意味 着 在 5 和 5; 的 交集 中 存在 非 零 向 量 s AUK, 向 
k 


量 z ÈS, 的 基 向 量 的 线性 组 合 , Mae =) azi。 Fit. 易 得 


k 
ala; 
z" Aw 2 eot 

max = 


MS) = max, ate Ok a 
Vlei 
i=1 


Fi 


> 


Mak, He 
ES, 240 TT 


类 似 地 ， 由 于 n—k+1 维 子 空间 Sy = Span{rt,, tos ,Un} 也 是 n BAS 
闻 5 的 子 空间 , 所 以 交集 Sons 中 的 向 景 x 可 以 表示 为 线性 组 合 = = Sau, 从 而 有 


n i=k 
Z Aila; 


zH Ax i=k 


Silas? 


i=k 


(So) = min -i <A, 
#(S0) ZES,,dim(S,)=n—k+1 gig Nk 


综合 {5) > A, Bl u(Sq) < Agr 即 得 到 式 (8.9.17). | 

Courant-Fisher 定理 也 称 Courant-Fisher 极 小 — 极 大 定理 或 极 小 - 极 大 原理 (min- 
max principle). 事实 上 , AT x (8.9.17) 外 ，Courant-Fisher 定理 还 有 其 他 三 种 表示 形式 ， 
例如 极 大 - 极 小 原理 为 

HA: 
a= s, dm S=k acts { a } (6.9.18) 

另外 , 如 果 特征 值 按照 递增 次 序 排列 为 和 < Xo… < Ay» 则 Rayleigh 商 的 极 小 - 极 大 原 
理 和 极 大 — 极 小 原理 分 别 与 式 (8.9.17) 和 式 (8.9.18) 有 所 不 同 。 这 一 点 希望 加 以 注意 。 

下 面 介绍 Rayleigh 商 的 儿 种 典型 应 用 。 


8.9.2 ”应 用 举例 1: 特征 滤波 器 


有 限 冲 激 响 应 (FIR) 滤波 器 的 最 小 一 乘 设计 方法 可 分 为 两 类 : 短 阵 求 逆 方 法 MSL 
以 及 特征 方法 [ssha61l, Be2863ls33。 托 阵 求 道 方法 由 Tufts 与 Francis 于 1970 年 提 
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i, CAHUSERER EE, RMA RA, PRUE BRL. REA Vaidynathan 与 
Nguyen!) T- 1987 年 提出 ， 它 将 滤波 器 系数 向 量 的 求解 转换 为 一 个 实 对 称 的 正定 矩阵 
的 特征 向 量 的 计算 。 

设 一 个 因果 的 N 阶 FIR 滤波 器 的 传递 沂 数 为 


N 
H(z) = Can)" (8.9.19) 
n=O 
滤波 器 称 为 具有 线性 相位 ， 若 其 相位 响应 是 频率 的 线性 函数 。 这 里 考虑 滤波 器 的 幅 值 响 


应 的 设计 。 
无 论 滤波 器 的 长 度 N 取 偶 或 奇数 ， 也 无 论 滤 波 器 冲 激 响应 h(n) 是 否 对 称 , 滤波 器 
的 幅 值 响应 Alw) 都 可 以 表示 为 


M 
Aw) = 》 onplw,n) (8.9.20) 


n=l 


式 中 , p(w,n) 是 一 个 合适 选择 的 二 角 着 数 ， 系 数 a, LOR h(n) 有 关 。 
定义 


a= [abaa ,ax]7 (8.9.21) 
p(w) = (pw, 1), p(w, 2), - pw, MJT (8.9.22) 

则 式 (8.9.20) 可 以 写作 
Aw) = aT pw) = pr(oja (8.9.23) 


PEARL GEE E: 给 定期 望 幅 值 响应 Dw), 求 系数 向 量 a, 使 得 由 式 (8.9.23) 
设计 的 幅 值 响应 Aw) 尽 可 能 逼近 D(w)。 
Tufts 与 Francis 提出 使 用 下 列 日 标 羡 数 [5 


人 = (lu) ~ A Pa 
=a" Qyppa—2q7a +d (8.9.24) 


Ah, R= [0,20] 表示 一 角 频 率 闭 区 间 , 并 且 


Q= {Pp wae (8.9.25) 
q= J. Dojp(ojdw (8.9.26) 
d= Í pP Ow (8.9.27) 


m Mar) - 0, 立即 得 
2Q 77a — 2g =0 
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或 者 
arr = QTE (8.9.28) 


由 于 系数 向 量 arr 可 以 通过 和 矩阵 求 着 和 上 式 得 到 , 所 以 Tufts 和 Francis 的 设计 方法 称 
为 矩阵 求 北方 法 。 
在 文献 [455] 中 ,Vaidynathan +j Nguyen 提出 使 用 日 标 函 数 
wuN(a) = Seen 
AH, wo 为 满足 D(wo) 40 的 参考 频率 点 。 利 用 式 (8.9.23)， 上 述 目标 函数 又 可 重新 写作 


Dw) 


Dug Deoo) Ao -ataf as (8.9.29) 


Diw) ? 


Jnl) = | ey Pee) -ap do 
=a Qyna (8.9.30) 
式 中 
T 
Ove Sa (Bere) Pe) CE) ae eos 


由 定义 知 , 矩阵 Qun 是 一 个 实 对 称 的 正定 矩阵 。 

令 Fowl) - 0 得 Qyya = 0, 只 有 平凡 解 a 0。 为 了 避免 这 种 平凡 解 ， 最 简单 和 
最 有 效 的 做 系 是 将 无 约 来 的 最 优化 问题 min Jyyla) = mina? Qyya 变 成 下 列 有 约束 的 最 
优化 问题 


minaTQGvNa (8.9.32) 
约束 条 件 为 
a™a=1 
很 显然 , 这 一 个 带 约 来 的 最 优化 问题 又 可 等 价 写作 
Egas) (8.9.33) 


min R(a) = mind aTa 


这 是 一 个 典型 的 Rayleigh 商 的 最 小 化 问题 。 因 此 ， 系 数 向 量 等 于 实 对 称 的 正定 矩阵 
@wn 与 最 小 特征 值 对 应 的 特征 向 车。 由 于 系数 向 量 的 确定 转换 为 实 对 称 正定 矩阵 的 特征 
向 量 计算 , 故 Vaidynathan 与 Nguyen 的 滤波 器 设计 方法 称 为 特征 滤波 器 方法 , 而 由 此 方 
法 设计 的 滤波 器 称 为 特征 滤波 器 (eigenflter)。 

一 个 实 对 称 矩 阵 的 最 小 特征 向 量 可 以 利用 前 面 介 绍 的 共 罗 梯 度 法 或 者 Rayleigh RIE 
代 法 计算 。 

2001 年 , Pei 与 Teenglasal 提出 了 一 种 新 的 特征 滤波 器, HET RR) RR BEE 
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则 
一 [D(w) - AW)? 5, 
J(a) = Sven ata +1 
=Í (Dw) - apio)? 4 
we R aTa +i 


AQA (8.9.34) 


式 中 , Å = [a,-1]", pw) = [p™w), DUT Q= [rnP(w)DT(w)dw。 就 是 说 , 待 求 的 向 
EA DEE Q 的 与 最 小 特征 值 对 应 的 特征 向 其。 车 令 矩 阵 Q 的 特征 值 分 解 为 


Dy 07) far 
X 地 

= [ty Uys ++ tye] a 2 (8.9.35) 
0 duel Luk 


RP, Ay 2 Age Ay, WA 


Azuy= lua’ wl (8.9.36) 
BERRA =(a,-1J7, 立即 得 
a=—y/u(M, M) (8.9.37) 


这 恰好 与 总 体 最 小 二 乘 问题 的 最 小 范 数 解 具 有 相同 的 形式 。 因 此 ， 按 照 以 上 方法 设计 的 
滤波 器 在 文献 [363] 中 被 称 为 特征 滤波 器 设计 的 总 体 最 小 二 乘 方法 。 这 种 方法 具有 以 下 
特点 : 


(1) 与 矩阵 求 逆 方法 相 比 , 特征 滤波 器 系数 向 量 的 计算 数值 稳定 性 更 好 。 

(2) 新 的 特征 滤波 器 避免 了 参考 频率 点 的 选择 。 

(3) 由 于 采用 了 总 体 最 小 二 乘 方法 ,新 特征 滤波 器 的 解 比 直接 求解 实 对 称 和 矩阵 的 与 
最 小 特征 值 对 应 的 特征 向 量具 有 更 好 的 精度 。 


8.9.3 ”应 用 举例 2: 快速 最 大 似 然 序列 解码 

在 无 线 通信 中 ,最 大 似 然 序列 解码 是 一 种 最 优 解码 方法 ， 但 存在 指数 复杂 度 的 计算 
E. 以 多 坊 波 直接 序列 码 分 多 址 (MC-DS-CDMA) 为 例 , 车 采用 频 域 扩 频 编码 技术 , 并 且 
一 个 码 元 通过 叫 并 转换 , 变 成 M = QD 个 子 载波 , 其 中 ，@ 为 子 码 元 流 个 数 , DD ES 
子 码 元 流 的 载波 个 数 。 此 时 ， 在 每 一 个 子 码 元 流 ， 发 射 信号 向 量 s = [sos 5 8p)" 
的 最 大 似 然 序 列 解码 为 B 


8) = ar min 
ML B13 | 


XH, G = 27, EE 为 发 射 信号 的 能 量 , b= [ho, hy, Apa)” 为 等 效 子 载波 增益 向 量 , W 
为 Walsh-Hadamard 编码 矩阵 ( 即 第 2 章 的 Hadamard $R), Mr 为 接收 信号 向 量 ,以 


Eaiag(h) (Ws, /vD) - rÈ (8.9.38) 
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上 各 量 均 为 已 知 。 显然、 最 大 似 然 序列 解码 臣 一 种 无 方向 的 穷 举 搜索 , 它 需 要 搜索 所 有 
G = 22 个 可 能 的 二 进 制 码 向 量 , 才能 确定 最 优 的 解 , 因而 具有 指数 复杂 度 的 搜索 熏 。 当 
DD = 16 时 , 最 大 似 然 序列 解码 因 计算 和 量 太 大 ,而 变 得 不 现实 。 

为 了 克服 最 大 似 然 序列 解码 的 这 一 瓶 殴 困难 ，Yang 与 Zhang 最 近 提出 了 一 种 快速 
最 大 似 然 序列 解码 方法 ke 。 这 - -方法 的 基本 思想 就 是 利用 对 称 和 矩阵 的 特征 值 分 解 ,将 
无 方向 搜索 变 成 治 着 特征 向 量 方向 的 有 方向 搜索 。 

定义 


B= Bäiae(h) zW (8.9.39) 


则 式 (8.9.38) 中 最 大 似 然 方法 的 代价 函数 可 以 简写 为 


J(s) = [Be 一 了 性 (8.9.40) 


此 ,最 大 似 然 方法 自在 使 向 量 的 Euclidean 距离 最 小 化 。 
利用 Hadamadard 矩阵 的 正 交 性 5w'w-5 = -WWT = 了 工 以 及 对 称 性 WT = 
由 矩阵 B 的 定义 , 易 求 得 其 逆 矩 阵 


B= Bap Waals! hi ADL) (8.9.41) 


定义 新 向 量 


= Br = —_Wdiag(h', hr, ,hpl)r (8.9.42) 


BB 
将 上 式 代入 式 (8.9.40), 立即 有 
J(8) = ||Bs — BF |Z = BE — 9) (3 (8.9.43) 


由 Hadamard 矩阵 的 正 交 性 ,并 注意 到 向 量 范 数 相 对 于 正 交 和 矩阵 具 有 不 变性 ， 芍 上 式 叉 
可 等 价 写作 


2 
= | sawae -中 = 14e- ai (8.9.44) 


式 中 


1 
A=—=WB 8.9.45 
vD ( ) 


为 对 称 矩 阵 , 因为 Hadamard JERE W FOE B 均 为 对 称 矩 阵 。 
令 Dx D SPER A 的 特征 入 和 < Ag < < Ap。 根据 Rayleigh 商 的 性 质 , 立即 


知 
\|Aeils 


llel 


AS SAp 


Arllell3 < lAcl < Apllel (8.9.46) 
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综合 式 (8.9.44) 和 式 (8.9.46) HU, HAE e =F — 5 WEIER A 的 特征 向 量 时 , 代价 
函数 J(e) = [|Acll3 可 能 的 极 小 值 依 次 为 和 ,和 2,… ,Xp。 因此, 应 该 沿 着 矩阵 4 的 特征 
向 量 方向 搜索 使 代价 消 数 最 小 化 的 向 基 ec = 7 — s， 从 而 得 到 相应 的 解码 结果 sa。 这 样 一 
来 ， 最 大 似 然 序 列 解码 便 变 成 了 治 着 对 称 和 矩阵 A = p”? 的 特征 向 量 方向 进行 搜索 
的 有 方向 搜索 。 和 需要 注意 的 是 , 由 于 加 性 噬 声 和 其 他 几 户 信号 的 干扰 , 搜索 得 到 的 解 向 量 
只 是 一 个 粗 估计 , 还 应 该 进一步 细 化 , 以 便 获 得 最 优 的 解码 向 最 。 对 整个 快速 最 大 似 然 序 
列 解 码 方法 感 兴趣 的 读者 ， 可 参考 文献 [487]。 


8.9.4 Rayleigh Mist 
SACOM 是 一 个 可 对 角 化 的 矩阵 , 其 特征 值 为 入 , 与 之 对 应 的 特征 向 量 为 ws。 为 
方便 计 , 假定 矩阵 4 非 奇 异 , 第 一 个 特征 值 比 其 他 特征 值 都 大 , 并 且 A, > Ag > … 之 和， 
则 特征 值 A 和 与 之 对 应 的 特征 向 量 u, 分 别称 为 矩阵 4 的 主 特征 值 和 主 特征 向 量 。 
RERE 


A k 
Dh = mo (8.9.47) 


o Mss Azo] 
PRS HE ez， 同 时 希望 它 收 敛 为 主 特征 向 量 ， 即 
jim mk = AT 对 某 个 满足 |IM| = 1S BA (8.9.48) 
FRIEWRA ET CAN ALE, 而 非 计 算 有 效 性 。 
Rayleigh 观察 到 A; = Rei)， 并 提出 了 当 和 矩阵 A 是 Hermitian 矩阵 时 ,计算 其 主 特 
征 值 和 主 特征 向 量 的 达 代 方法 , 现在 习惯 称 之 为 Rayleigh WIC. 
Rayleigh 商 迭 代 是 逆 选 代 的 一 种 变型 , 其 标准 算法 如 下 : 
选择 一 个 单位 长 度 的 初始 向 量 ty, Hk = 0,1,2,--- 执行 以 下 运算 。 
(1) 构造 R, = R(x,) = Rdzk。 
(2) 车 (4 一 RT) BH, WR (A— RD, = 0 的 非 零 解 e+l £0, 并 停止 送 代 。 
# (A-RA) 非 奇 异 , 则 继续 站 面 的 运算 。 
(3) 计算 


(A -RAD ae 
Pest = TA, — Br) Tlie (8.9.49) 


ERER (R,, zx} 称 为 由 Rayleigh ERER Rayleigh 序列 。 
Rayleigh 序列 具有 以 下 性 质 153, 
(1) 尺度 不 变性 : 矩阵 aA {a #0) 产生 与 矩阵 A 相同 的 Rayleigh 序列 。 
(2) FEREN: MERE 4 - az 产生 的 Rayleigh 序列 为 {Bi — a, kj。 
(3) PYLE: ERE UAU" (U SEM) 产生 的 Rayleigh 序列 为 {Rp UT} 
Rayleigh 商 达 代 算 法 还 有 下 面 的 推广 B551, 它 适 用 于 一 般 矩 阵 A. 
选择 一 个 单位 长 度 的 初始 向 量 so 并 针对 大 一 0 2 4 … 执行 下 面 的 迁 代 运算 。 
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(1) 构造 R, = Rla,)- 

(2) 求解 oh, (A — RD) = Taps 并 使 kn = 1e 

(3) 构造 Repi = 了 ee。 

(4) RAF (A — Ruy D) Enpa = Tey Pigs IME lle s0ll = 10 

如 果 碰巧 (4 一 RT) 或 者 (A - Ryl) 奇异 ， 则 求解 齐 次 方程 , 直接 得 到 相应 的 特 
EAR. 车 矩阵 A = AP, 则 上 述 推广 算法 退化 为 原 标准 Rayleigh 商 和 迭代 方法 。 


8.9.5 Rayleigh 商 问 题 求 解 的 共 辊 梯度 算法 
取 Rayleigh 商 的 梯度 的 负 方 向 作为 向 量 = 的 梯度 流 ， 即 


&=—[A- RI (8.9.50) 


则 向 量 可 以 利用 梯度 算法 


Pry = Ep + Hbk 
= g, — HA — Rs) I], (8.9.51) 


迭代 计算 e, 
正如 下 面 的 定理 所 述 , Rayleigh 商 问题 求解 的 梯度 算法 具有 比 标准 Rayleigh Rt 
算法 更 快 的 收敛 速 率 。 
定理 8.9.3 假定 X > 和 。 对 于 几乎 所 有 满足 zol = 1 的 初始 值 zo。， 由 梯度 算法 
选 代 计算 的 向 量 mx 以 速率 和 1 — Xo 指数 收敛 为 矩阵 A 的 最 大 特征 向 量 u, R uo 
证 明 参见 文献 [211, p.18]。 
下 面 介 绍 求解 Rayleigh 商 问题 


DB AZ 
Re) = Ze (8.9.52) 


BIRRERIA, RH, A 为 实 对 称 和 矩阵 。 
从 某 个 初始 向 量 zo HR, 共 辆 梯度 算法 使 用 先 代 公式 


Ber, = Pk 十 Pe (8.9.53) 
RAAT RE Rh (或 最 大 ) AER. SAM ak 由 下 式 给 出 中 hd 
a, = 45 (-B+ VF -0D) (8.9.54) 


AD, 正 号 适用 于 最 小 特征 向 量 的 更 新 ， 负 号 对 应 于 最 大 特征 向 量 的 更 新 。 
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sk (8.9.54) 的 参数 D, B,C 的 计算 公式 如 下 。 
D = PP(E) ~ Pak) Pal’) 
B = P,(k) — às Palk) 
C = Pik) — MRE) 
P (k) = pE Aa, / (ae er) 
P,(k) = pi Ap, / (ap ey) 
P(k) = pe £p (wp xy) 
Palk) = PEP, /(@ER,) 
Ng = Rla,) = af Ax, /(wEe,) 
在 第 上 + 1 DIRK, 搜索 方向 按照 下 列 方 式 选择 ， 
Pry = Tepa 十 BC)PR 


Ah, (-1)=0, Eren D k+l PERDRAI, 由 


1 
Tk+1 = =3Ve R(grr) 


= (Ager @egn — ATpr)/ (ets) 


(8.9.55) 
(8.9.56) 
(8.9.57) 
(8.9.58) 
(8.9.59) 
(8.9.60) 
(8.9.61) 
(8.9.62) 


(8.9.63) 


(8.9.64) 


IÈ (8.9.63) 中 的 bk) 的 选择 应 该 使 搜索 方向 Pe 与 pk 是 相对 于 Rayleigh 商 的 


Hessian 矩阵 H 共 辆 的 或 者 五 ECZA, 即 
Pip, =0 
关于 H 的 选择 ，Chen 等 人 B3 HER A 作 H. 此 时 


px 
p Ap, 


DE 


(8.9.65) 


(8.9.66) 


但 是 , 这 种 选择 只 适用 于 二 次 型 目标 函数 ot Ae, 因为 这 种 消 数 的 Hessian EEE F A. 


由 于 Rayleigh 商 不 是 二 次 型 函数 ,直接 计算 Hessian 矩阵 , 得 fed 


H(z) = 2 [4 -BOr a (zey - nan 


ate Oz 
式 中 
oe => rjr Ae t ae 
= 22), + sige 


当 z = gep, 时 ,将 Hessian 矩阵 简 记 为 Hy.) = 吾 (zx+1)。 此 时 ， 参 数 


T 
Titer Pe 


b(k) = - 
内 PAT +185P, 


(8.9.67) 


(8.9.68) 


(8.9.69) 


540 第 8 章 特征 分 析 


将 Hy, 代入 后 , 得 
TE Ae + (Tipine (EEP) 

AD, MaDe 69.70) 
式 (8.9.53) ~ 式 (8.9.62) 以 及 式 (8.9.70) 一 起 组 成 了 求解 Rayleigh 商 问题 式 (8.9.52) 

ROSACEAE. 如果 对 更 新 的 x 进行 归 一 化 , 并 且 当 式 (8.9.54) 前 面 取 正 号 时 , 算法 

求 出 的 是 对 称 和 矩阵 4 的 最 小 特征 值 和 对 应 的 最 小 特征 向 量 。 苦 希望 求 4 的 最 大 特征 值 

和 相应 的 最 大 特征 向 量 , 则 只 要 在 式 (8.9.54) 前 面 取 负 叶 即 可 。 这 种 算法 是 Yang 等 人 提 

出 的 [491], 


b(k) = 


8.10 X Rayleigh 商 


Rayleigh 商 的 推广 形式 称 为 广义 Rayleigh 商 。 本 节 讨 论 广义 Rayleigh 高 的 定义 和 求 
解 方法 , 并 以 模式 识别 和 移动 通信 为 例 , 介绍 广义 Rayleigh 商 的 典型 应 用 。 


8.10.1 广义 Rayleigh 商 


定义 8.10.1 4 AÑ BIA nxn t Hermitian 矩阵 , H B RESHM. POR 
(A,B) 的 广义 Rayleigh 商 或 广义 Rayleigh-Ritz 比 R(=) 是 一 个 标量 (函数 ),， 定 义 为 


HAZ 
Ræ) = 二 人 (8.10.1) 


其 中 , z 是 待 选择 的 向 量 , 其 日 的 是 使 广义 Rayleigh 商 最 大 化 或 者 最 小 化 。 

为 了 求解 广义 Rayleigh 商 , 定义 一 个 新 向 量 元 = Be, 其 中 , BY 表示 正定 矩阵 
BAPE. 用 > = BV? 代入 广义 Rayleigh 商定 义 式 (8.10.1) WA 
a (B7 A(B?) a 
a 
这 表明 , 矩阵 来 (A, B) 的 广义 Rayleigh 商 等 价 为 矩阵 乘积 (B12)HA(B-1/?) 的 Rayleigh 
We H Rayleigh-Ritz 定理 知 ， 当 选择 向 量 & 是 与 矩阵 乘积 (B7 (BO?) 的 最 小 特 
征 秆 Amin 对 应 的 特征 向 量 时 , 广义 Rayleigh 商 取 最 小 值 Anns 而 当选 择 向 量 = BSH 
PERT BO Y?)2 ACB?) 的 最 大 特征 值 xsx 对 应 的 特征 向 量 时 , 广义 Rayleigh 商 取 最 
大 值 Asss。 考 查 矩阵 乘积 (BO?) ABO) 的 特征 值 分 解 

(s=) A (37?) B= (8.10.3) 


R) = (8.10.2) 


EBY gva WET B MRIKSA 则 
i=1 
B-S Boe! 


i=l 
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并 县 BM2B12 = B, h PIER BY? AGE B 具有 相同 的 特征 向 量 和 互 为 倒 
数 的 特征 值 , be 


BY VA (8.10.4) 


说 明 B"? 也 是 Hermitian JERE, WIA (BoV2)4 = B7", 
MIERE Bo? ÆRR (8.10.3) 两 边 , 并 代入 (B7 = B, 即 得 


BIAB 3 =)B@ i BAr = de 


因为 2 = Boe, 办 此 , ERROR (BEAY?) 的 特征 值 分 解 与 矩阵 BA 的 - 
特征 值 分 解 等 价 。 由 于 BOA REEERE (A, B) 的 广义 特征 值 分 解 ， 所 
以 上 述 讨论 可 归结 为 : 广义 Rayleigh 丙 取 最 大 值 和 最 小 值 的 条 件 是 


HAz oa 

Rie) = ipa Ome 着 选择 As = Xmax BE (8.10.5) 
ah Ag es 

R(®) = agg = min FAF Az = Amin BE (8.10.6) 


即 是 说 ， 欲 使 广义 Rayleigh 商 最 大 化 ,向 量 e 必须 选取 与 俱 阵 上 (A, B) 最 大 广义 特征 
值 对 应 的 特征 向 量 ; 反之 , 需要 使 广义 Rayleigh 商 最 小 化 时 ， 则 应 该 取 与 矩阵 束 (A, B) 
最 小 广义 特征 值 对 应 的 特征 向 量 作 wo ` 


8.10.2 ”应 用 举例 1: 类 鉴别 有 效 性 的 评估 


模式 识别 广泛 应 用 于 人 的 特征 (如 入 脸 、 指 纹 、 虹 膜 等 ) 识别 和 各 种 雷达 目标 (如 飞 
机 、 导弹 、 舰 船 等 ) 识别。 在 这 些 应 用 中 ,信号 特征 的 提取 是 至 关 重 要 的 。 例 如 ,将 日 标 
视 为 一 个 线性 系统 , 系统 的 参数 就 是 日 标 信号 的 一 种 特征 。 又 如 , 信和 号 的 双 谱 ( 即 三 阶 累 
积 量 的 二 维 Fourier BR) 


o poo | 
Bun, w2) = | S, E{x(t)x(t + 7)a(t + Ta) je intan drs dry (8.10.7) 


和 Gabor 原子 ( 即 Gabor 变换 的 基 函 数 ) 


1 t-u j&t _ 
alt) = Feo (e)s, k=1,2, 7, K (8.10.8) 
分 别 是 将 日 标 信号 视 为 非 高 斯 信号 和 非 平 稳 信号 时 的 特征 。 式 中 , g) HOARE ORK 
g(t) = Ve" (8.10.9) 


式 (8.10.8) 中 的 Gabor 原子 参数 si,w,& 分 别称 为 尺度 参数 、 平 移 参数 和 (频率 } 
调制 参数 。 在 雷达 目标 识别 中 ,它们 分 别 对 应 为 飞机 的 几何 尺寸 、 关键 部 位 (发 动机 、 天 
Bl MEAL) 和 蒙 皮 材料 (电磁 辐射 特性 ), 是 飞机 识别 的 关键 特征 7. 
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通过 选择 对 信号 分 类 或 识别 贡献 最 大 的 双 谱 的 频率 集合 (Of, ol), OP, wl), ， 


(oof) HRR BUP, wP), BUP oP), Bw? fO), 便 得 到 了 目标 
信号 的 KK 维 向 量 。 由 于 这 种 向 晤 表征 信号 分 类 的 特征 , 称 为 信号 的 特征 向 量 (feature vec- 


tor)。 


注意 , 它 与 特征 值 问题 中 的 特征 向 量 的 涵义 有 所 不 同 。 类 似 地 , 与 天 组 Gabor 原子 参 


BH {(51, 1, £1), (sa ao 人 (suryEk} 对 应 的 Gabor 原子 函数 91(0,9z(0，… gC) 
也 构成 了 目标 信和 号 的 KK 维特 征 向 量 。 


表征 信号 分 类 的 特征 向 量 的 提取 龙 遂 过 信号 处 理 方法 和 神经 网 络 的 训练 完成 的 。 利 


用 神经 网 络 作为 分 类 器 , 即 可 对 日 标 进行 分 类 与 识别 。 以 双 谱 特征 为 例 , 假设 使 月 下面 几 
种 不 同 的 方法 提取 了 不 局 的 双 谱 : 


(1) 径 向 积分 双 谱 (radially integrated bispectrum, RIB) 的 相位 [7 引 


PRIB(a) = arctan (ERa) (8.10.10) 
RF, Refla) 和 Im[zr(ej] 分 别 表示 径 向 积分 双 谱 


1/(1+a} 
Ha) =f" Bahan 


o 
的 实 部 和 虚 部 。 
Q) 径 向 积分 双 谱 
1/{1+0) 
RIB(a) = 1a) = [BU afd (8.10.11) 
(3) 加 向 积分 双 谱 (axialy integrated bispectrum, AIB) 152 
AIB(w) = x 三 B(w,w,)duy = x 三 B(w wdw (8.10.12) 


(4) 圆周 积分 双 谱 (circularly integrated biscpectrum, CIB) [8° 


CIB(a) = fae 0)dg (8.10.13) 


AP, BB,(a,9) 是 Blow) 的 极 坐 标 形式 。 
(5) 选择 双 谱 (selected bispactrum) 5°) id w = (ww) 和 Blw) = B(w wg). 7] 
用 Fisher 类 鉴别 测度 
ye [mean, (BP) — mean, [mean, ESON 
mD (w) = ij ， t#G 


¥ van (BP) 


leg 


(8.10.14) 
AP, BOW) 表示 由 第 | 类 信号 的 第 k 组 观测 数据 计算 得 到 的 在 频率 v = 
(wwr) 处 的 样本 双 谱 ，meanks(Bi(o)) 和 var, (BE? (w) 分 别 代表 第 ! 类 信号 在 
所 有 样本 双 谱 的 平均 值 和 方差 , 而 mean[mean, (BO (w))] 表示 所 有 类 型 的 信号 
在 频率 o 的 样本 双 谱 的 总 体 中 心 。 
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有 了 这 5 种 双 谱 特征 向 量 后 , 我 们 很 自然 地 会 对 评估 PRIB, RIB, AIB, CIB 和 选 
择 双 谱 这 5 种 方法 的 分 类 能 力 感 兴趣 。 散 布 (divergence) 起 两 类 信号 间 “ 距 离 ” 或 不 相似 
度 的 一 种 测度 ,常常 用 于 进行 特征 评价 和 类 鉴别 有 效 性 的 评估 。 

令 Q 是 待 评估 的 儿 种 方法 抽取 的 信号 特征 向 量 的 共同 维 数 。 对 于 e 类 信号 的 分 类 问 
题 , Fisher 类 鉴别 测度 需要 比较 =- 1 PRERA. A Fisher 测度 的 推 | ， 现在 考虑 
所 有 Q 维特 征 向 量 企 c 一 1 维 类 鉴别 空间 上 的 投影 。 

NEN +N, t tN SP, N, 表示 在 训练 阶段 提取 的 第 i 类 信号 的 特征 向 
量 的 个 数 。 假 定 

Bik 一 [si e(l), sag (2), ssi QE 
表示 在 训练 阶段 由 第 i 类 信号 的 第 上 组 现 浏 数据 得 到 的 Q 维特 征 向 量 , 而 
m, = [mu (1), m (2), ,ma QT 

为 第 i 类 信号 的 特征 向 量 的 样本 均值 向 量 , 其 中 


N; 
mi(® = K Beu i=b2, ,0 q=1,23 Q 
类 似 地 , > 
` m = [m(1),m(2),--- ,m(Qy" 
表示 由 全 体 观测 数据 得 到 的 所 有 特征 向 量 的 总 体 均值 向 量 , 其 中 
mla) = mr， q=1,2,---,Q 
i=l] 
有 了 以 上 向 量 后 , EA EXAME (within-class scatter matrix) [38] 
Su ;> [ae — ma) (858 — 4)" (8.10.15) 


和 类 间 散 布 矩阵 (between-class scatter matrix) [138] 


Sy Sim, — m)(m; — m)" (8.10.16) 
i=l 


它们 都 是 Q xQ 矩阵 。 
令 Span(U) X Q x Q SEE U 的 列 张 成 的 Q 维 子 空间 , 并 定义 代价 或 准则 部 数 
IILrzzrsz 
Hs Teo (8.10.17) 
diag 


Rh, [[4 ARER 4 的 对 角 元 素 的 乘积 。 使 用 I 作为 评估 类 鉴别 能 力 的 测度 ， 称 


diag 
Span{U) 是 类 鉴别 空间 , 若 


U =arg UD 7) (8.10.18) 
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为 了 求解 这 一 非 线 性 优化 方程 , 将 式 (8.10.17) 改写 作 


il 

T 

Ui Sot; Q 

= T Syu; 

j= Say eee 8.10.19 
加 Ty =I ul Su; ( ) 

[e wy 


i=1 


RP, u, EEE U 的 第 之 列 。 显 然 ， 代价 函数 .7 最 大 化 , 当 且 仅 当 


max J;(u;) = sau si (8.10.20) 
这 恰好 就 是 广义 Rayleigh 商 的 最 人 化 。 上 式 有 着 明确 的 物理 意义 : 构成 最 优 类 鉴别 子 空 
闻 的 矩阵 U 的 列 向 基 u 应 该 同时 使 得 类 间 散 布 最 大 和 类 内 散布 最 小 , 即 广义 Rayleigh 
商 最 大 化 。 
对 于 c 类 信和 号 的 分 类 , 最 优 的 类 鉴别 子 空间 是 ec- 1 维 的 。 因此 , 式 (8.10.20) 只 需要 
对 ce 一 1 个 广义 Rayleigh 商 最 大 化 。 换 言 之 ,只 需要 求解 | 义 特 征 值 问题 


Sewi= NSuu i=12, Cc—1 (8.10.21) 
得 到 c 一 1 个 广义 特征 向 量 ayas，… ,wo_1。 这 些 广 义 特征 向 景 构成 的 @ x (e 一 矩阵 
Uy = [ty Way Wea] (8.10.22) 


它 的 列 张 成 最 优 的 类 鉴别 子 空间 。 
获得 了 矩阵 Q x (c— 1) 矩阵 U1 后 , 即 可 以 对 在 训练 阶段 获得 的 每 一 个 信号 特征 
HE sk， 求 出 它 在 最 优 类 鉴别 子 空间 的 投影 


Bie = USS i=1,2, ,0 k=1,2,... Ne (8.10.23) 


当 只 有 三 类 信号 (c = 3) 时 ,最 优 的 类 鉴别 子 空间 是 一 平面 , 每 个 特征 向 量 在 最 优 类 
鉴别 子 空间 上 的 投影 为 一 个 点 。 文献 [509] 提出 了 信号 特征 抽取 的 选择 双 谱 方法 , 并 将 这 
一 方法 应 用 于 高 分 辨 逆 合 成 孔径 (SAR) 雷达 的 飞机 目标 识别 。 图 8.10.1~ 图 8.10.4 分 
别 示 出 了 对 三 种 微波 旷 室 测 得 的 三 种 模型 《机 (B52, Q6 Al Q7) 数据 使 用 径 向 积分 双 谱 
(RIB)、 轴 向 积分 双 谱 (AIB)、 圆 周 积分 双 谱 (CIB) 和 选择 双 谱 时 ， 这 些 双 谱 特征 向 量 在 
最 优 类 鉴别 子 空间 的 投影 ( 引 白 文献 [509])。 

这 些 投影 图 直观 地 反映 出 不 同 双 谱 特征 向 量 在 高 分 辩 害 达 目 标识 别 中 的 鉴别 能 力 。 
容易 看 出 , 选择 双 谱 方法 优 于 其 他 几 种 双 谱 方法 。 


8.10 广义 Rayleigh 商 


545 


l 
sa 
io 


8.10.1 PRAIA RIA RB Pel 


55) 


-6| 
-16 -14 -11 -10 ~ 
xi? 


图 8.10.3 BATALI RE Bd FM 


1 ie 


上 的 投影 
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ED 
x10“ 
8.10.4 选 振 双 度 在 最 优 类 登 别 子 空 间 上 的 投影 


8.10.3 ”应 用 举例 2: 干扰 抑制 的 售 棒 波束 形成 


在 无 线 通信 中 , 基站 若 使 用 由 多 个 天 线 ( 称 为 阵 元 ) 组 成 的 天 线 阵列 , 便 可 以 通过 空 
间 处 理 , 达到 分 离 多 个 同 信道 的 用 户 ,从 而 检测 出 期 望 用 户 的 信号 。 

考虑 由 M 个 全 向 性 天 线 组 成 的 阵列 , 并 且 天 个 窄带 信和 号 位 于 远 场 。 由 M 个 阵 元 
接收 到 的 观测 信号 向 最 为 


y(n) = din) + a(n) + e(n) (8.10.24) 
式 中 , eln) 为 M AET Ene me Pe RE A TT 

dln) = a(go(n))so(n) (8.10.25) 

i{n) = È a(8,(n))%,(n) (8.10.26) 


分 别 为 M 个 阵 元 接收 到 的 期 望 信号 向 量 和 其 他 天 一 1 个 用 户 的 干扰 信号 向 量 。 其 中 , (n) 
Al O(n) 分 别 代表 期 望 信号 和 第 大 个 干扰 信号 的 波 达 方 向 ( 角 ), 向 量 a(90(m)) 和 aege(m)) 
分 别 基期 望 信号 和 第 大 个 干扰 信号 的 阵列 响应 向 量 。 

假定 所 有 信号 源 彼 此 统计 不 相关 ， 各 个 阵 元 的 加 性 白 噪声 统计 不 相关 ， 并 且 具 有 相 
同方 差 o2, TH. 观测 信号 的 自 相 关 短 阵 为 


R, = E{y(n)y"(n)} = Ry + Rise (8.10.27) 
式 中 
Ry = E{d(n)d"*(n)} = Pya(a)a™ (85) (8.10.28) 


K-i 
Ripe = Efliln) + e(n)li(n) + €(n)]!"} = 5 Rattan(e)+or (810.29) 
= 
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， 常数 P AP, 分 别 表示 期 望 信号 和 第 个 干扰 信号 的 功率 。 
令 win) 是 波束 形成 器 在 n 时 刻 的 权 向 量 , 其 输出 


2(r) = w"(n)y(n) (8.10.30) 


FS Se RTE AS ae ASF YELL, (signal-to-interference-plus-noise-ratio, SINR) 为 
Elwa 
~ Ef{lwililn) + e(r]P} 


wt Raw 
= GR wo (8.10.31) 


SINR (ww) 


为 了 达到 干扰 抑制 之 目的 ， 应 该 使 Rayleigh R SINR (w) 最 大 化 。 邯 古 说 ,干扰 抑制 的 
最 优 波束 形成 器 应 该 选择 为 矩阵 束 {Ra Rige} 与 最 大 广义 特征 值 对 应 的 广义 特征 向 量 。 
然而 , 这 需要 分 别 计算 期 望 信 号 的 白 相 关 算 阵 R。 和 干扰 加 噪声 的 白 相 关 和 矩阵 Riges 这 
是 难于 直接 做 到 的 。 

将 Ry = Palloja" (0) 代入 信 干 噪 比 公式 (8.10.31), 无 约束 最 优化 问题 可 表示 为 


Polw'ta (4)? 
TR (8.10.32) 


max SINR{w) = max 
ipe W 


若 增 加 约束 条 件 walo) = 1, WEARER bh A A 
min wR yew st. wal) =1 (8.10.33) 


式 中 , st 表示 约 来 条件。 这 个 最 优化 问题 仍然 不 方便 求解 ,因为 Ri. 不 可 能 计算 。 
注意 到 


ap = w" (Ryw + WHR ye)y 


= Pyt wR, ew 
而 期 望 信号 功率 Py 是 与 波束 形成 器 无 关 的 常数 ， 所 以 式 (8.10.33) 的 约束 最 优化 问题 又 
等 价 为 
min wiRyw st. wa) =1 (8.10.34) 


与 式 (8.10.33) 不 同 的 是 , WSS FE) BASE R, 容易 估计 。 使 用 Lagrange 
乘 数 法 , 容易 求 出 约束 最 优化 问题 (8.10.34) 的 解 为 


R; alh) 
Wope(™) = ROR alh (8.10.35) 


KARTE fis FRA — ERRERA [388] 提出 的 。 
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8.11 ”二 次 特征 值 问题 


人 流体 力学 中 流量 的 线性 稳定 性 研究 564,1209 、 上 声学 系统 的 动态 分 析 、 结 构 力 学 中 
结构 系统 的 振动 分 析 、 电 路 仿真 4 、 微 电子 力学 系统 (microelectronic mechanical sys- 
tem, MEMS) 的 数学 建 模 Bel5131、 生 物 医学 信号 处 理 、 时 间 序 列 预 报 、 诸 音 的 线性 预测 
编码 u, WA - 多 输出 (multiple input-multiple output, MIMO) 系统 分 析 H, Tok 
应 用 的 偏 微分 方程 的 有 限 元 分 析 60,844,， 以 及 线性 代数 问题 的 一 些 应 用 中 , 常常 会 遇 到 
一 个 共同 的 问题 一 一 二 次 特征 值 问 题 (quadratic eigenvalue problem, QEP). 

二 次 特征 值 问题 与 标准 的 特征 值 问 题 尤其 是 广义 特征 值 问题 , 既 存在 密切 的 联系 , 又 
有 着 明显 的 不 同 。 鉴 于 理论 、 方 法 及 应 用 的 重要 性 ,本 节 对 二 次 特征 值 问题 进行 专门 讨 
论 与 介绍 。 


8.11.1 二 次 特征 值 问题 的 描述 
具有 粘 河 阻尼 和 无 外 力作 几 的 结构 系统 ， 其 运动 方程 为 微分 方程 238, P178,t397,p.299] 


Mé+Ci+ Kz =0 (8.11.1) 
RP, M,C, K DAARMEE, RUE AIRE, MAE &, dMs 分 别 为 加 速 
度 、 速 度 和 位 移 向 量 。 
在 振动 分 析 中 , 齐 次 线性 方程 (8.11.1) 的 通 解 形式 为 
x= eu (8.11.2) 


SUP, w GRAAE MAA NEEE E ERR. H (8.11.2) 及 其 关于 时 间 的 
导数 代入 式 (8.11.1), 便 得 到 特征 方程 
O M 420+ K)u =0 
由 于 某 些 矩 阵 是 非 对 称 的 ， 上 式 左 边 的 解 也 存在 形 如 
vig?M +AC + KE)= 07 
的 解 。 显然 以 上 两 个 方程 是 关于 特征 值 的 二 次 方程 , 简称 二 次 特征 值 问题 。 
抽 去 物理 涵义 , 可 以 将 二 次 特征 值 问题 叙述 为 P, 求 标量 A 和 非 零 向 量 u,v 满足 


方程 
QPM +C + K)u=0, viXNM+AC+K)= 0" (8.11.3) 


Uh, M,C, K J nxn RER. 满足 上 述 方程 的 标量 RAE, PEAR uM o 
分 别称 为 与 特征 值 对 应 的 右 和 左 特 征 向 量 。 特征 值 和 特征 向 量 组 成 一 次 特征 值 问 题 的 
特征 对 。 
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与 标准 的 特征 值 问题 Annt = Xu 和 广义 特征 值 问题 A, ett = 和 Baxnt 不 同 , 一 
次 特征 值 问题 存在 2n 个 特征 值 (有 限 大 或 者 无 穷 大 )，2m 个 右 特征 向 量 以 及 2n 个 左 特 
征 向 量 。 在 工程 应 用 中 , 特征 值 通常 为 复数 , 其 实 部 为 谐振 频率 , 虚 部 表示 指数 阻尼 , 并 
有 希望 得 到 在 频率 范围 内 所 有 的 特征 值 。 一 般 情况 ,特征 对 有 几 十 个 到 儿 百 个 之 多 。 
二 次 特征 值 问题 是 非 线性 等 征 值 问题 的 一 个 重要 二 类 。 令 


QO) =V¥M 410+ (8.11.4) 


这 是 一 个 二 次 n xn ES MR. WAZ EE QA) 的 系数 是 的 二 次 多 项 式 。 通 常 称 
QO) A A ER [2691。 于是, 特征 值 A 是 特征 方程 


det Q(z) = det(2?M + zC + K)=0 (8.11.5) 


的 根 ， 并 称 QO) 为 特征 多 项 式 。 

定义 8.11.1441 矩阵 QO) 称 为 正则 A 矩阵 ， 若 特征 多 项 式 det Q(z) 对 所 有 2 值 
不 恒 等 于 零 。 反 之 , 车 det Q(z) =0, Vz, WARM Q(z) 是 非 正则 A 矩阵 。 

在 非 正则 矩阵 的 情况 上 , 存在 无 穷 多 个 特征 值 , 因此 这 种 矩阵 不 在 考虑 之 列 。 下 面 假 
定 矩阵 Q(z) 为 正则 和 矩阵 ， 或 等 价 假定 和 HERE QUA) 为 正则 矩阵 。 对 于 一 个 正则 的 入 矩 
阵 Q(A)， 两 个 不 同 的 特征 值 可 能 有 同一 个 特征 向 量 。 下 面 是 一 个 有 趣 的 例 车 。 

Parii 假定 3 x 3 TE 


0 6 0 1 -6 0 1 0 0 
M=|0 6 0|, C=|2 -7 0], K=]0 1 0 
oo 1 0 00 00 1 


因此 , 和 EREA 


入 +1  6\?—6A 0 
QA) =VM+4AC+ K =| 2) 6X -7+1 0 
0 0 +1 


它 是 正则 矩阵 ， 因 为 


det Q(A) = —6AË +1244 — 1245 + 124? - 6A +1 #0 


由 此 求 得 6 个 特征 对 Anu) i= 1,2,… ,6， 如 下 所 示 ; 


i 1 2 3 4 5 6 


Aà [1⁄3 12 1 i -i œ 


a 


EEEE E k 


其 中 , 5 个 特征 值 有 限 大 , 它们 是 特征 多 项 式 det Q(X) 的 根 ; 另 一 个 特征 值 无 穷 大 。 可 以 
看 出 , RAGA A, = 1/3 和 Xs = 1/2 对 应 的 特征 向 量 相同 , 而 A =j A, = j 对 应 的 
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特征 向 量 也 相同 。 央 此， 共有 4 个 不 同 的 特征 向 量 , 它们 是 


中国 四国 


显然 , 第 1, 2, 4 个 特征 向 基线 性 相关 。 除 去 其 中 一 个 线性 相关 的 特征 向 量 (如 第 1 个 )， 
即 得 3 个 线性 无 关 的 特征 向 最 为 

0 0 1 

1j, Joj, lo 

0 1 0 


根据 矩阵 M,C, K 的 性 质 不 同 , 二 次 特征 值 问题 的 特征 值 与 特征 向 量 的 性 质 也 有 所 
不 同 ， 详 见 下 表 的 汇总 。 
表 8.11.1 ”二 次 特征 值 问题 的 特征 值 与 特征 向 量 的 性 质 [444 


编号 58 HE AL 特征 向 量 性 质 
1 | MESS 2n PARARE 
2 |mas AMA ATS NAEK 
3 | MC. ey 实 或 共 印 成 对 (X, 和 ") | EuR 的 在 特征 向 量 , 则 ut 


AM 的 右 特征 向 量 
E u RA 的 石 特征 向 量 , 则 u 
是 A* 的 右 特征 向 量 


4 | M,C,K % Hermitian $t | KaHR (A, A") 


5 M: Hermitian 正定 . Re(A) <0 
C, K: Hermitian 半 正 定 
M,C HERRENE AREAN n 个 人 特 | 5n 个 大 特征 值 (或 n 个 小 特征 
6 | KK 本 和 和 人 机 性 下 
WA n 个 小 特征 值 | 信 ) 对 应 的 n 个 特征 向 量 线性 无 关 
(M,C, K) > 0 
了 | M.K: Hermitian So AULA EN 车 刀 是 入 的 右 特征 向 量 , 则 u 
MEZ. C = 一 C8 或 共 办 成 对 {和 ,和 *) E Ar 的 左 特征 向 基 
a | MK 实 对 称 正定 SSL eae 
= -CT 


it: (M,C, K) = min { (wou)? -4 (ull Adu) (uH Ka) :ul = 1} 
需要 指出 , WE KREAKE SO RE e, 
(1) 二 次 型 函数 满足 (wHCw)? < hu Muu! Ku) 的 二 次 特征 值 问题 式 (8.11.1) 


称 为 椭 回 二 次 特征 值 问题 (elliptic QEP)。 
(2) 二 次 型 函数 满足 (w3Cw)? > 4A Muu" Ku) 的 二 次 特征 值 问题 式 (8.11.1) 


称 为 双 曲 线 二 次 特征 值 问题 (hyperbolic QEP)。 


8.11.2 ”二 次 特征 值 问题 求解 


到 目前 为 止 ， 求解 一 次 特征 值 问题 有 以 上 两 种 主要 方法 ; 
(1) 基于 广义 Bezout 定理 , 将 二 次 特征 值 问题 分 解 为 两 个 一 次 特征 值 子 问题 ， 简称 
其 为 分 解法 。 
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(2) 道 过 线性 化 手段 ， 将 非 线性 的 二 次 特征 值 问题 变 为 线性 广义 特征 信 问 题 ,简称 
其 为 线性 化 方法 。 

下面 分 别 介 绍 这 两 种 方法 。 

1， 分 解法 

定义 矩阵 


Q(8)=MS?+C5+K, Secor (8.11.6) 
WES QA) 之 差 为 


QA-Q@(5)= MO2T- 8?) + COI- 8) 
= (AM + MS +C) -— 8) (8.11.7) 


这 一 结果 称 为 二 次 矩阵 多 项 式 的 广义 Bezout 定理 167, 
如 果 二 次 矩阵 方程 
Q(5) =MS?+CS+K=0 (8.11.8) 
存在 一 个 解 5 e C"x”， 则 称 这 一 解 为 二 次 算 阵 方程 的 ( 右 ) 解 (right solvent). 类 位 地 ， 
方程 PM + SC + K=O 的 解 称 为 二 次 矩阵 方程 的 左 解 {left solventjtad 。 显 然 , 若 5 
是 二 次 矩阵 方程 Q(5) = O 的 解 ， 则 广义 Bezout 定理 的 公式 (8.11.7) 简化 为 


QO = OM +MS+0)(T - 8) (8.11.9) 


E (8.11.9) 表明 , 若 8 是 一 次 矩阵 方程 (8.11.8) 的 解 , 则 二 次 特征 值 问题 det Q(A) = 
det(\?M +AC + K) = 0 等 价 为 det@O = det (AM + MS + C)(M — S)) = 0. Afi 
阵 乘积 的 行列 式 性 质 det(AB) = det(A)det(B) 知 , 二 次 特征 值 问题 变 成 了 以 下 两 个 (一 
W) 特征 值 子 问题 ; 

(1) 二 次 特征 值 是 特征 方程 det(AaM + MS + C) =0 的 解 , 共 得 到 n MA: 
(2) 二 次 特征 值 是 特征 方程 det(X7 -5) =0 的 n THR. 
有 趣 的 是 , 特征 值 问题 det (XM + MS +C) = 0 与 广义 特征 值 问题 (MS + C)w = 


A M)u 等 价 。 
总 结 以 上 讨论 知 , 从 广义 Bezout 定理 出 发 , 二 次 特征 值 问题 (°M +AC+K)})u =0 


可 以 分 解 为 两 个 一 次 特征 值 问题 : 

(1) ERER (MS +C, -M) 的 | 义 特 征 值 问题 , 即 (MS + C)u = 一 和 Mau; 

(2) 矩阵 5 的 标准 特征 值 问题 Su = dru. 
也 就 是 说 ， 二 次 特征 值 问题 的 On 个 特征 对 Apu) 由 广义 特征 值 问 题 (MS + C)u = 
—AMu 的 呈 个 广义 特征 对 以 及 二 次 矩阵 方程 式 (8.11.8) 的 解 和 矩阵 5 的 n 个 特征 对 共同 
组 成 。 
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2. 线性 化 方法 

求解 非 线性 方程 的 常用 思路 之 一 是 将 非 线性 方程 线性 化 ， 变 为 线性 方程 后 再 求解 。 
这 一 思想 同样 适用 于 一 次 特征 值 问题 的 求解 ， 内 为 一 次 特征 值 问题 本 身 就 是 非 线性 特征 
问题 的 一 个 重要 子 类 。 在 线性 化 的 过 程 中 ,当然 希望 线性 化 前 后 的 和 年 阵 古 等 价 的 。 

定义 8.11.20 称 两 个 具有 相同 维 数 的 A 矩阵 PA) 与 QO) 为 等 价 和 矩阵, AF 
存在 另外 两 个 行 刘 式 为 非 零 常数 的 A 矩阵 BO) 和 F(A), 使 得 


PO) = BA)QA)FO) (8.11.10) 


Ë BQ) MFO) 与 和 无 关 , 则 称 DFE PO) 与 Q(X) 为 严格 等 价 (strictly equivalent) 
A JERE. 

BA (8.11.10) KTA [PA) = EO)IIQO)IIFO)L 由 于 [E0] #0 Al FA) #0, 
立即 得 重要 的 结果 : 


|PQ)}=0 = QRA =0 (8.11.11) 


有 必要 指出 , 给 定 一 个 和 矩阵 Q()， 可 能 存在 很 多 与 QO) 等 价 的 A HE ETE 
R QO) 的 等 价 A 矩阵 类 。 由 等 价 和 矩阵 的 定义 知 , APO) 和 WA) 是 与 入 矩阵 PA) 
等 价 的 任意 两 个 SEE, 则 P(A) 也 是 WA) 的 等 价 A ERE, 反之 亦 然 。 换言之 , 与 QO) 
等 价 的 HERE LIT. 
由 于 所 有 与 QO) 等 价 的 和 矩阵 都 服从 式 (8.11.01), 故 在 特征 方程 有 有 完全 相同 的 
根 ( 即 特征 值 ) 的 意义 上 , 称 和 矩阵 Q(X) 及 其 所 有 等 价 矩阵 具有 (相对 于 一 次 特征 值 
的 ) 不 变性 (invariant). 很 自然 地 , 在 等 价 和 算 阵 类 中 , 我 们 会 对 其 中 有 可 能 最 简单 的 那 
个 等 价 和 矩阵 产生 兴趣 。 这 样 一 种 可 能 最 简单 的 等 价 A 矩阵 称 为 矩阵 QO) 的 典范 
(或 标准 ) A 矩阵 。 

下 面 的 定理 称 为 Smith 定理 ， 它 给 出 了 和 和 矩阵 QO) 的 典范 A 矩阵 。 

定理 8.11.1 AJER QO) 与 一 对 角 和 矩阵 AQ) 等 价 , Bl 


QA) = BA) AQ) FO) (8.11.12) 


RH, A = diag {ei( 和 ),e2( 和 ),… ena)» JPA G0) 为 和 的 最 小 多 项 式 (monic polyno- 
mial), 即 ¢;,,(A) 能 够 被 (A) 整除 。 

证 明 ” 见 文献 [167]; [177]; (478, pp.19~20]. 

AEE AQA) 称 为 入 矩阵 QU) 的 Smith 型 矩阵 或 典范 A ERE. 虽然 BO) MFO) 
PERH, 但 典范 和 矩阵 是 唯一 确定 的 。 

业已 证 明 (69, See.9.3}, 24 和 HERE Q0) 具有 2n 个 不 同 的 特征 值 时 ， 分 解 式 (8.11.12) 
中 的 最 小 多 项 式 由 e,(A) = 1, 2 —1 i en) = fja- AD BH. 

nxn 维和 矩阵 QO) 的 线性 化 变换 就 是 求 与 QQ) 等 价 的 Qn x In 线性 A 矩阵 
A-dB. ' 
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定义 8.11.3071 称 2n x 2n RYE A JERE A -AB 是 nxn BED REE QUO) 的 线性 

化 , 车 
EN | = EO)(A— AB)F()) (8.11.13) 

st, ECA) Al F(A) Æ 2n x 2n 维 入 算 阵 ， 开 县 它们 的 行列 式 为 非 零 常 数 。 

需要 注意 的 是 ，》 和 矩阵 QA) 的 线性 化 4 -AB 不 是 唯一 的 。 在 选择 QA) 的 线性 化 
时 ， 有 一 个 原则 需要 遵循 : 尽 可 能 保持 Q(X) 的 对 称 性 或 其 他 特殊 结构 。 

作为 最 常见 的 线性 化 ， 下 面 推导 与 一 次 特征 值 问题 等 价 的 广义 特征 值 问题 。 

容易 验证 , HS ù= Xa， 则 二 次 特征 值 问题 OFM + AC + K)u = 0 可 以 等 价 写作 
常见 的 状态 空间 方程 形式 ， 


fa] =0 {8.11.14} 


或 者 , , 
ù 
引 =0 (8.11.15) 


式 中 , N 可 以 是 任意 nxn 非 奇 异 矩 阵 。 

因此 , Bi n 维 二 次 特征 值 问题 (AM + XC + Kyu = 0 的 线性 化 2n 维 ) SUR 
EREN Ad = Bd, 则 称 和 矩阵 来 (4, B) 是 二 次 特征 值 问题 的 友和 矩阵 对 (companion 
matrix pair)。 相 对 于 以 上 两 种 线性 化 类 型 ， 友 息 阵 对 (A, B) 的 选择 如 ath ool， 

(1) 第 1 友 型 (first companion form) 


Tl: As iw re B= lo s] (8.11.16) 
(2) 第 2 友 型 (second companion form) 
L2: A= [x ot: B= lo 4 (8.11.17) 


FARER N 最 简单 的 选择 是 单位 矩阵 , 即 N = no Ej, 称 线性 化 为 典型 变换 
(canonical transformation)。 在 对 A MERE QUA) 线性 化 之 后 , 即 可 通过 矩阵 东 (A, B) 的 广 
义 特征 值 分 解 ， 获得 二 次 特征 值 问题 的 解 。 

如 8.8 节 所 述 , 为 了 保证 矩阵 束 (A, B) 的 广义 特征 值 分 解 古 唯一 确定 的 , 矩阵 BD 
SEAR BIER. rast (8.11.16) 和 式 (8.11.17) 知 , 这 相当 于 要 求 窍 阵 M 非 奇 异 。 

算法 8.11.1 (矩阵 M 非 奇 异 时 求解 一 次 特征 值 问题 的 线性 化 算法 )[44 

输入 AJER PQ) = 2M 41°04 K 

SR 1 利用 线性 化 公式 (8.11.16) 或 者 式 (8.11.17) 构造 矩阵 束 (A, B)。 

步骤 2 使 用 QZ 分 解 计 算 广义 Schur 分 解 : 


T=QAZ, S=QÏBZ (8.14.18) 


式 中 , TAS 为 上 三 角 和 矩阵 (MATRA ty, 和 sp) 而 Q 和 Z ABR 
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R3 计算 二 次 特征 值 及 其 对 应 的 特征 向 基 ; 
for k= 1: 2m 
Ar = Hg/ Shk 
求解 (T 一 和 5)@ =0, 并 令 上 = Ze 
& = (1: n); & =E(n +1: Qn) 
m1 = PAE NEN; ra = P(A2)é2 /1é2) 


u = (8m), Æ lri < iral 
k &(n +1: 2n), 他 


endfor 
步骤 2 的 QZ 分 解 可 以 直接 使 用 MATLAB 程序 的 qz 函数 运行 。 顺 便 指出 , 当 上 三 
AAEE S 的 某 个 对 角 元 素 s;, = 0 时, 则 特征 值 = co。 
如 果 和 矩阵 M,C 和 K 均 为 对 称 和 矩阵 , JH A 一 AB 是 P(A) = 和 2M +C +K 的 对 
称 线性 化 时 , 算法 8.11.1 将 不 能 保证 A -AB 的 对 称 性 ,这 古 因 为 步骤 2 采用 的 QZ 分 
解 不 能 保证 (4, B) 的 对 称 性 。 在 这 种 情况 下 , 需要 改 用 以 下 方法 MA, 
(1) 车 B 为 确定 的 和 矩阵, 则 先 计算 B 的 Cholesky 分 解 B= LET, 其 中 , LAFZ 
FERE. 
(2) 将 B= LL” 代入 对 称 的 广义 特征 值 问题 AE = ABE, 变 成 对 称 的 标准 特 往 值 
问题 LO ALT= rd, HH, o= "E 
(3) 利用 对 称 QR SMR. 计算 对 称 甜 阵 L-14L-T 的 特征 对 (A, 办 。 这 些 特征 对 即 
是 二 次 特征 值 问题 待 求 的 特征 对 。 
文献 [308] 介 织 了 线性 化 后 二 次 特征 值 分 解 的 广义 Davidson 算法 、 修 正 Davidson 算 
法 、 二 次 残 差 迁 代 法 等 几 种 方法 。 
算法 8.11.1 只 适用 于 和 矩阵 M 非 奇异 的 情况 . 然而, 在 一 些 工业 应 用 中 , 矩阵 M 往往 
是 奇异 矩阵 。 例如, 在 阻尼 结构 的 有 限 元 分 析 中 , 经 党 遇 到 所 谓 的 无 质量 自由 度 (massless 
degree of freedom)， 它 们 对 应 为 质量 矩阵 M KRSI A Sig ee P, 
LAERE M 奇异 , 从 而 使 B 也 奇异 时 , 有 两 种 方法 可 以 改进 原 二 次 特征 值 问题 gc 。 
一 种 方法 使 用 谱 变换 (spectral transformation), 即 引入 一 个 适当 的 特征 值 位 移 量 和 6， 
变 为 


HA》 一) (8.11.19) 
于 是 , 旧型 的 工 型 线性 化 变 为 
ee el ele [SE ena 


注意 ， 位移 Ay amaram [O i] ras. 
另 一 改进 是 令 
A= z (8.11.21) 
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将 上 = 1/A RAK (8.11.20), HPUBHE, 即 得 


Reece a 

上 式 是 标准 的 特征 值 分 解 a (8.11.23) 
式 中 fo NM -KJ jM o 

A | F x] (3 3] (8.11.24) 


因此 ,求解 特征 值 问题 As = 4z， 即 可 得 刘 特 征 值 4 和 与 之 对 应 的 特征 向 量 。 然 后 ， 又 
可 由 
入 = 上 二 3 = ar (8.11.25) 
确定 二 次 特征 值 问题 的 特征 值 。 
有 必要 指出 ， 任何 一 个 高 次 特征 值 问题 


OFA, HAPT Am He +AA + Aou = 0 (8.11.26) 


都 可 以 线性 化 , 例如 P 


—Ag u A, As An] [ u 
T Au O I «= O|| >u 

. . | =>| ， : . (8.11.27) 
1j pve Ow I Of |e 


就 是 说 , m UA RE ARER EA As = 和 Bz 求解。 
8.11.3 SBR AB 
容易 求 出 满足 线性 化 定义 式 (8.11.13) HER BO) 和 F(A) 分 别 为 


Ll: Be) = [COON ol: zw- 二 3] (8.11.28) 
L2: ao 人 TY |， zw= 位 3] (8.11.29) 


假定 QA) 非 奇 异 , 则 由 式 (8.11.13) 知 


eo 3] T L FAA AB) IEO) 


(ro 3] = FANA ~ AB)-!E ~ (A) 
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于 是 有 
awna T E 
=E, 0] F()(A - AB) EHA} H (8.11.30) 


PRU SSR TAERE ASR: ARTA Re SON AR KEREN AE ae 
和 矩阵， 则 


x o` x- O 

Y 3] |-2-1YX-! | (8.11.31) 

Ix YY jo Zz 

Zz A jy yxg | (8.11.32) 
-1 一 1 -1 一 

XY x7 -XiYZ 

o 引 =l"o gi | (8.11.33) 


将 式 (8.11.28) 代入 式 (8.11.30)， 并 利用 分 块 三 角 和 矩阵 的 求 道 公式 (8.11.31) AL 
(8.11.32)， 即 可 得 到 线性 化 £1 情况 A 矩阵 QO) RIXE QTA) 为 


(ce ON 可 回 


roo 


Li: Q= EO K 中 a-a | 


=[|I,O] (A -ABY 外 


类 似 地 ， 将 式 (8.11.29) 代入 式 (8.11.30)， 并 利用 分 块 矩 阵 的 求 赣 公 式 (8.11.31) MA 
(8.11.33)， 则 线性 化 £2 情况 下 A 矩阵 QO) EDNER QA) 为 


12: QA) =1,0] [xr q (4 -AB Fi ey] lol 
= [I 0] (4 -XB)-! lo] 


整理 后 , 为 
-1 fo 
Li: QA) = |I, 0O] (A — AB) [ | (8.11.34) 


12: Q70)=[1,0](A- By [a] (8.11.38) 


由 于 线性 化 后 , 二 次 特征 值 问题 QO) =? Maya + Caxnt Kan 转化 为 矩阵 束 
(Ammxan Banxan) 的 广义 特征 值 问题 ,所 以 二 次 特征 值 问题 


Quw=0 VFA) = 07 


中 


分 别 与 (4 一 入 B)9; = 0, YFA- AB) = 07 等 价 ， 


ae ear vee KA (8.11.36) 


i 
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令 A= diag(0a Ag+ Amn) 为 QO) 的 特征 值 矩 阵 ， H Uny = [ea at， y an] 
和 Vaxon = Putne ,V2n] DHE QO) 的 右 和 左 特征 向 量 矩 阵 ， 则 式 (8.11.36) 可 以 


作 
s 五 一 laal 多 一 BA (8.11.37) 


它们 都 是 矩阵 束 Aan yon —ABonxan 的 2n x 2n 可 和 左 特征 向 量 和 矩阵 。 如 果 对 © A 更 妇 
一 化 , 使 得 
HAS =A, DBS =I (8-11.38) 
假定 A 不 是 矩阵 束 (A, B) 的 广义 特征 值 ,或 者 等 价 不 是 和 矩阵 QO) 的 特征 值 , 则 
式 (8.11.38) 给 出 结果 
BAAB)E= A-A 


PRR, 得 
SIA AB) (P)! = (A — AI) 


即 有 
(A-AB)! = (A — AT) g" (8.11.39) 


将 这 一 结果 连同 式 (8.11.37) 一 起 分 别 代 入 式 (8.1134) 和 式 (8.11.35), 即 得 


n: ono=eol 吕 un 区 9 


12: gA) = rolg, gja- aol) [Z| 


整理 后 , 为 
Ei: QUA) UO- A) AVE = > Awol (8.11.40) 
i=l i 
uv! 
L2: QTA} =U{M - Ay V" = D FSN (8.11.41) 


i1 i 


需要 注意 的 是 , AEE QO) 的 扰动 有 可 能 破坏 其 正定 性 , WEEE QTA) 的 计 
算 变 得 不 稳定 。 上 面 的 定理 刻画 了 QO) 的 正定 性 。 

定理 811.2 ”具有 正定 矩阵 M 的 二 次 特征 值 问题 式 (8.11.1) 是 椭圆 二 次 特征 值 问 
题 ， 当 且 仅 当 A 矩阵 Q(X) 对 所 有 实 特征 值 Xe REZ. I (8.11.1) 是 双 曲 线 二 次 特征 
值 问 题 , 当 且 仅 当 QO) 对 所 有 实 特征 值 ER 负 定 。 

TEAC Sa 是 任意 一 个 非 零 向 量 , MQ) 的 二 次 型 


THQG(OA)z = (a! Max)? + (PIHCT)A+ (2 Ka) 


由 于 M EE, 所 以 Ma > 0. FR, 4A WER, ERAPR OER 
(zHCo)2 —4@™ Max) (eE Ka) 对 于 所 有 非 零 向 量 s 是 严格 小 于 零 的 。 因 此 , A EE QO) 
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对 所 有 实 特征 值 和 都 是 正定 的 ， 当 且 仅 当 二 次 特征 值 问题 式 〈8.11.1) 是 椭圆 二 次 特征 值 
问题 。 类 似 地 , 可 以 证 明 式 (8.11.1) EME, 当 且 仅 当 QO) 对 所 有 实 
特征 值 和 Ee R GUE. E 
MAER M,C, K 存在 扰动 时 ，》 矩阵 QO 随 之 被 扰动 ， 使 得 原本 正定 的 A 矩阵 
QO) 失去 正定 性 。 有 关 和 矩阵 QO) 的 扰动 分 析 , 请 参考 文献 201), RETER. 


8.11.4 应 用 举例 1: AR 参数 估计 


在 语音 的 线性 预测 编码 Br 、 生 物 医学 信号 处 理 01 中、 时 间 序 列 预报 与 控制 的 和 谱 
估计 4 等 中 , 常常 需要 将 实 随机 过 程 建 模 成 白 回 归 (AR) 过 程 


a(n) + a(1)2(n — 1) +--+ a(p)a(n — p) = e(n) (8.11.42) 


StH, a(l), a(2),… ,a(p) 为 AR 参数 , pW AR BR, eln) 为 不 可 观测 的 激励 信号 , 通常 
AARE, HAAN 2 。 
用 zln -7),r>1 AREAL, 并 取 数 学 期 望 , 得 线 件 法 方程 


RT) + a)R(r —1) +--+ + a(p)R,(7 -p=0, 7 =1,2,--- (8.11.43) 


式 中 , R (7) = E{z(n)a(n—7)} 表示 AR WA HIAK. 这 一 法 方程 称 为 Yule-Walker 


方程 。 
到 = 1,2,… ,p， 则 式 (8.11.43) 可 以 写作 


RO) RI) ee Re(—p +H] fatty] FR) 
RO RO RP) | __ RO ean 
ROD) Rb-D = R0 | bal) R00) 


然而 , 在 许多 情况 下 存在 观测 噪声 vtn)， 即 实际 观测 信号 为 
a(n) = a(n) + ofr) 
sth, o(n) AAEE, HREM o, 并 与 a(n) 统计 不 相关 。 在 这 一 假设 下， 观测 信号 
p(n) 与 AR 随机 过 程 z(n) 的 白 相 关 函 数 之 间 存在 下 列 关 系 


_ _ _ /BO -0, r=0 
R(T) = R(T) ee) = {0 r#0 


将 这 一 关系 代入 式 (8.11.44) 后 ，Yule-Walker 方程 变 为 


已 (0)-o BRD) 杞 Co2+D] fall) R, (1) 
R) BRO- -= Bp+2)| D| __ |R (8.11.45) 


Rb-D Bp = RO- lap) R) 
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称 为 噪声 补偿 的 Yule-Walker 方程 44, 
È a = [-a(1), 一 (2 一 am = [Ry (1), R2}, Rye]? 和 


R,(0) Rt) 7 RR(-p+1) 
R,- R,() R (0) ©- RR,(-p+2) 
Rie-) R@-2) = RK) 
则 式 (8-11.45) 可 改写 为 
(R, -PIa =r (8.11.46) 


由 于 R(T) = R(T), 7 之 1 WES r= pt pt2,---,ptaq. 则 由 式 (8.11.43) 得 


gla=R,(p+1) 
3a=R 2 
92a = R,(p+2) 61147) 
9,4 =R,(p+4q) 
RP, gi = [R (p +i- 1), R (p+i- 2), , R (iT. BR (8.11.46) 和 式 (8.11.47) 合并 ， 
TARERE 
(R, — AD)v = 0,,4 (8.11.48) 


AH, R, 和 万 均 为 (p 十 9) x +1) EM Be 是 (p 十 1) xl AR 它们 定义 为 


Ru R,(0) ROCI) -> Rp41) 
R,(2) ROD RQ Ry (p+ 2) 
R =| RD) Rp-  R-) = RO 
R@+1) Rlp) RO -= RW 
Rota) Borg-l) Ryp+q-2) Bg) 
和 
010+. 0 
001 0 1 
pid : a(t) 
D=|09 00 = 1|, v=) 
000- 0 : 
boio : a(p) 
000 --- 0 


用 (R, -ADY ERR (8.11.48) 两 边 ,， 即 有 


(XM +290 + Kyo = 0,43 (8.11.49) 
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式 中 
M= BR,, C=-(R]D+D™R,), K=D™D (8.11.50) 
ER M,C 和 K 均 为 对 称 矩 阵 ， 故 式 (8.11.49) 为 对 称 二 次 特征 值 问题 。 
令 
A= 6 3] ， B= r s] (8.11.51) 


则 二 次 特征 值 问题 变 为 2(p + 1) 维 广义 特征 值 问题 
(A~AB)u=0 (8.11.52) 


根据 表 8.11.1 中 的 性 质 P38, RIE SEHR RT (A,A) 出 现 ， JAEL (A, A") 对 
RAVAGE PEE te WILT (uu). E 20p +1) DRE Aou) 中 , 只 有 同时 满足 式 
(8.11.46) 和 式 (8.11.47) 的 特征 值 A 及 其 对 应 的 特征 向 量 u 才 分 判 是 待 求 的 观测 噪声 方 
= o 和 AR 随机 过 程 参数 向 量 [1,a(1),… ,afp)lr 的 估计 。 

由 被 加 性 白 咖 卢 污染 的 观测 数据 估计 AR 随机 过 程 参数 的 上 述 方法 是 Davila 于 1998 
年 提出 的 101, 


8.11.5 ”应 用 举例 2; 约束 最 小 二 乘 
考虑 下 而 的 约 果 最 小 一 乘 问题 


a = argmin {zr4z — 2572} (8.11.53) 


约束 条 件 为 
alg =? (8.11.54) 


Hb, Ac RARE, e 为 不 等 于 0 的 实 常数 , 在 很 多 应 用 中 常 取 c= 1。 
这 个 约束 最 优化 问题 可 以 用 Lagrange 乘 数 法 求解 。 令 代价 函数 


J(a,d) = eT Aw ~ 2x + MC — 27x) (8.11.55) 
OJ (x, 和) OF (@,r) _ a 
& =0 和 一 5 = 0 HRA 
(A-ADe=b, sese (8.11.56) 
令 a= (4 一 AT)y, 将 这 一 假设 代入 式 (8.11.56) 的 第 一 个 式 子 , 即 得 
(4-AD2y=5b 或 (V2I-224+A)y-b=0 (8.11.57) 
利用 w= (A-ADy RA AME, 易 知 
grr=y A- ADT(A- My = y™(A -D(A -NI 
=y"(A -AI)s = y"b 
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于 是 , R (8.11.56) 的 第 -个 式 子 可 以 等 价 写作 
yib=c? 或 1= y%b/c? 


由 此 得 
b=by'b/c? = bbT y/e 


因为 yb = by。 将 上 式 代入 式 (8.11.57), WAT 
þer -2AA + (A? -7| y=0 (8.11.58) 


这 恰好 是 一 个 对 称 的 二 次 特征 值 河 题 。 
Gander 等 人 (95) 业已 证 明 , 约 来 最 小 二 乘 问题 的 求解 需要 Lagrange 乘 数 》 的 最 小 
二 乘 解 。 
总 结 以 上 讨论 , 可 以 得 出 约 呆 最 小 二 乘 问题 (8.11.53) 的 求解 步骤 如 下 : 
(1) 求解 二 次 特征 值 问 题 式 (8.11.58), 得 到 特征 值 A (特征 向 量 y; 可 以 不 需要 )。 
(2) 确定 最 小 的 特征 值 nine 
(3) 约束 最 小 二 乘 问题 式 (8.11.53) 的 解 由 £= (4 一 和 mm 了 -5 给 出 。 


8.11.6 ”应 用 举例 3: 多 输入 - 多 输出 系统 


多 输入 - 多 输出 (multiple input-multiple output, MIMO) 系统 是 信号 处 理 、 白 动 控 
制 和 系统 丁 程 中 经 常 遇 到 的 线性 系统 。 
考虑 mm 个 输入 和 n 个 输出 的 线性 受 控 系统 


MG) + Ca) + K = Bu(t) (8.11.59) 
y(t) = La(t) (8.11.60) 


HP, ult) eC", m <r 为 某 个 输入 信号 向 址 ; alt) & Cr 为 系统 的 状态 向 量 ; y(t) e C™ 
为 系统 的 输出 向 量 ; Be CO ARSE AIRE Le Cnxr 为 系统 的 输出 作用 和 矩 
BE; M,C, K 为 r xr SOR 

取 MIMO 系统 的 Laplace 变换 ,并 假定 零 初 始 条 件 ， 得 


s? Mals) + sCq(t) + Ka(s) = Bu(s) (8.11.61) 
g(s) = La(s) (8.11.62) 


TE, RARER AGE (transfer function matrix) 


G(s) = 80) - LPM + sC + KB (8.11.63) 
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令 Qs) = 897M 4 sC+K, 则 由 式 (8.11.40) 利 式 (8.11.41), 得 L1 和 L2 情况 下 的 着 矩阵 


2n H 
: (8 Ky’ =U(s1 - Ay AVE =o 一 11. 
Ll: (M +sC+K) U(sI — A) y 入 (8.11.64) 
an wvH 
L2: (PM +sC+K)'=U(s1 -A V" =} st (8.11.65) 


i=l 
即 是 说 , 二 次 特征 多 项 式 9M + sC + K 的 特征 值 给 出 受 控 MIMO RARE RBR 
点 。 因此 , 二 次 特征 值 为 研究 受 控 MIMO 系统 的 控制 性 能 和 响应 性 能 提供 了 依据 。 
文献 [444] 介绍 了 -次 特征 值 问题 的 诸多 应 用 ， 是 一 篇 关于 二 次 特征 值 问题 的 精彩 
至 此 ,我 们 介绍 了 特征 值 分 解 的 几 种 推广 形式 : 三 义 特征 值 分 解 、Rayieigh 商 、 广义 
Rayleigh 商 和 二 次 特征 值 问题 。 


8.12 ”联合 对 角 化 


从 本 质 上 讲 , 一 个 Hermitian 矩阵 的 特征 值 分 解 就 是 寻找 一 个 酉 矩阵 , 使 该 Hermitian 
和 撼 阵 对 角 化 。 本 节 从 多 个 矩阵 的 同时 对 角 化 ， 介 绍 特征 值 分 解 的 另 一 种 推广 ;联合 对 
角 化 。 


8.12.1 ”联合 对 角 化 问题 
在 存在 加 性 噪声 的 环境 中 , 言 信号 分 离 的 观测 信号 向 量 = 可 以 表示 为 
a(t) = As(t)+ v(t), t=1,2,--- (8.12.1) 


RP, w(t) = [m (t) Balt) em (EI, s(t) = 国人 的 ,oo 的 和 的 Alo) = ah, 
aE OnO 分 别 表示 t 时 刻 的 观测 信号 向 量 、 未 知 的 信号 源 向 量 和 加 性 噪声 向 时 
而 4 e Rm" 是 表示 信号 源 兹 合 状况 的 矩阵， 称 为 混合 矩阵 ， 它 是 未 知 的 。 

盲 信号 分 离 的 目的 是 设计 一 个 分 离 矩阵 W, 使得 其 输出 


y(t) = Welt) = WAa(t) + Wo?) (8.12.2) 


是 信号 向 景 o(t) 的 拷贝 。 显然 , 理想 情况 下 ， 分 离 矩阵 应 该 满足 WA = 了 w= At 
是 混合 矩阵 的 广义 递 和 矩阵 。 然 而 ， 混 合 矩 阵 A 的 辨识 存在 固有 的 不 确定 性 ; 一 方面 是 因 
为 4 本 身 是 未 知 的 ， 另 一 方面 是 因为 车 令 mxn 混合 矩阵 A = [aa ,awj， 则 式 
(8.12.1) 可 以 等 价 写作 


x(t) = x a,s,(t) + v(t) = 5 Gosslt) + v(t) (8.12.3) 
i=l + 


i=1 
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这 说 明 ,混合 矩阵 A 的 列 向 量 交 换 位 置 与 【或 ) 同 列 的 所 有 元 素 除 以 同一 个 不 为 零 的 党 
Ba, 时 , 观测 数据 向 量 z(t) 相同 。 

由 于 泥 合 矩阵 A 的 列 向 三 排 序 及 其 元 素 值 辨识 的 不 确定 性 , 所 以 分 解 短 阵 W 的 辨 
识 结果 不 可 能 恰好 等 于 汇合 矩阵 4 的 三 义 递 矩阵, 凤 WAZI, 而 只 能 满足 


WA=PD=G (8.12.4) 


的 关系 , 其 中 , P 为 nxn BRIER, 反映 4 的 列 向 量 排序 的 不 确定 性 能 ; 而 D A nxn 
对 角 和 矩阵 ， 其 对 角 元 素 反映 A 的 列 向 量 元 素 值 辨 识 的 不 确定 性 。 矩阵 G = PD A X 
EKHE. 应 当 指出 ， 当 辨识 出 米 的 分 离 矩阵 满足 式 (8.12.4) 的 关系 时 ,并且 抑制 了 加 性 
白 噪声 e(t) 时 , 输出 向 量 


y(t) = Welt) + Wo(t) = PDs(t) + W(t) (8.12.5) 


只 是 原 信号 向 量 的 元 素 的 不 同 排序 和 相差 一 个 常数 因子 而 已 。 从 信号 分 离 的 观点 看 , 这 
是 完全 允许 的 。 

定义 8.12.1 0 两 个 mxn ERE M A N AACS, WE M =N, A 
M= NG, 其 中 , G A nxn VARER. 

对 于 宦 信 号 分 离 , 道 常 作 以 下 假设 : 

(1) m xm 混合 矩阵 A 列 满 秩 , 但 矩阵 本 身 未 知 。 

(2) HUES s,() 具有 零 均 值 , 空间 不 相关 , 即 其 相关 函数 R, (0) = Ef{s(t)s"(t)} = I; 
# 理 它们 均 为 窄带 信号 ， 使 得 对 某 些 r 值 , 有 EE{si(t)s?(t 一 7)} = p(T) #0, BI 


R,(r) = E{a(tje"(t — 7)} = diaglpy(7),p2(T), Par] =D, (8.126) 

(3) 至 多 只 有 一 个 信号 服从 正 态 分 布 , 为 高 斯 信号 。 

(4) 加 性 噪声 向 量 v(t) 为 零 均 值 向 量 , 并 且 是 时 域 白色 、 空域 有 色 的 复 随机 过 程 , 与 
源 信 号 独立 ， 即 加 性 噪声 向 量 的 白 相 关 和 矩阵 


R,(r) = Ef{v(tjv (t -7)} =6()R,, 对 某 些 了 (8.12.7) 
sth, 5(7) X Kronecker 5 Ma, 并且 R, = E{v(tjvH(t)}。 
在 上 述 假 设 下 ,阵列 输出 向 量 的 委 相 关 和 矩阵 为 
R,(0) = E{e(tjez"()} = AD,A™ + R, (8.12.8) 
R,(7;) = {20a (tm)} = ADA", 7 £0 (8.12.9) 
育 信号 分 离 的 主要 日 的 就 是 华 没 有 关于 阵列 流 形 知识 的 情况 下 , 辨识 未 知 的 温 合 矩阵 4。 
从 以 上 两 式 可 以 看 出 , 为 了 抑制 噪声 的 影响 , 应 该 使 用 对 某 些 7 4 0 (例如 =1,2,… ,p) 
的 式 (8.12.9) 辨识 A. 
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从 数学 的 角度 看 问题 ， 混 合 答 阵 的 辨识 问题 义 可 以 表述 为 : 给 定 p 个 矩阵 R, (7), 
fi = 1,2,… p RERE A AID, ,i 一 1,2,… ,p, 使 得 式 
R,(7;) = AD, A" (8.12.10) 
RES MEM IBRA MAHL (joint diagonalization), HAIN TAL (simultaneous 
diagonalization). 
关于 联合 对 角 化 , A PTE HER HE 
定理 8.12.1 (MEER EPH Sta, 是 p 个 时 间 河 后, FSV 是 一 
个 m x n RE, 满足 关系 式 
VAR, (7,)V = diag|d, (k}rda(k) ,ds(k)], V1igigp (8.12.11) 
di(k) #dj(k), YISi#j<n IkL<k<p (8.12.12) 
式 中 ,di(k),i 二 1,2,… ,n 是 R(T) 的 特征 值 , 则 Y 大 与 混合 矩阵 4 Oy Ste At 


本 质 相 等 的 矩阵 。 
当 加 性 噪声 向 量 wb 为 高 斯 有 色 噪 声 癌 基 时 ， 需 要 使 用 高 阶 累积 量 矩阵 代替 自 相 关 
和 矩阵， 以 便 抑制 高 斯 有 色 噪 声 。 为 此 , 令 C(i,j) 表示 累积 量 和 矩阵 ,其 (k) 元素 定义 为 
Cx (i, 5) = cum[z, (4), 2} (8), 2 (£), sR) (8.12.13) 
RP, a(t) 是 向 量 e(t) Wi PICK, cum[] 为 累积 量 符号 , 而 上 标 * RABBI A 
算 。 此 时 ,阵列 信号 处 理 中 的 联合 对 角 化 问题 为 3 
Ci, j) = UDG, UF (8.12.14) 
AT h TARP EH OES HERE RR, (7),7 = 1,2,… ,p 或 样本 累积 量 矩 阵 
都 存在 估计 误差 ， 所 以 矩阵 的 联合 对 角 化 只 能 近似 实现 。 
如 果 抽 去 信号 处 理 问 题 的 不 同 物理 涵义 ， 即 可 将 若干 个 矩阵 的 近似 联合 对 角 化 变 成 
一 个 带 有 共性 的 数学 问题 ; 
考虑 KK 个 N x N 复 矩 阵 的 集合 A = {41, 4s,… , 4k}。 现在 希望 求 一 个 联合 对 
角 化 器 (joint diagonalizer) U € CNxN 和 KK 个 对 应 的 对 角 和 矩阵 A, 4?，… , Ag, A 
函数 


K 
J(U, Ay, Ag Ae) = Dp |a 一 vav" | (8.12.15) 
k=1 
最 小 化 , RH, wp wy,… ,ww 为 正 的 权 系数 。 这 一 优化 问题 称 为 近似 联合 对 角 化 。 为 方 
便 计 ， 下 面 的 讨论 假定 w = wo = … = wx = 1。 


值得 指出 的 是 , 两 个 nxn Hermitian 矩阵 A 和 B 的 (精确 ) 联合 对 角 化 与 Hermitian 
EMER (A, B) 的 广义 特征 值 分 解 等 价 。 根据 定义 , 两 个 Hermitian 矩阵 A 和 B 的 联合 
对 角 化 就 是 确定 丁 矩 阵 U 和 对 角 矩 阵 44, Ap 使 得 


A=UA,U", B=UA,U" 8.12.16) 
A 
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式 中 
{U, A4, Ap} = argminJ(U, A4, Ap) 
2 2 
= argmin {| A— UA." + [B-va (8.12.17) 


显然 , 车 B 正定, 则 Bo =UAg U". 内 此 , 有 


AB =UA,A,'U" =UAU" (8.12.18) 


A= A4,A7 = dag Al? AL AW, ,A /XB)) (8.12.19) 


以 上 结果 可 以 归结 为 下 面 的 命题 。 

命题 8.12.1 RA Hermitian 矩阵 A,B 的 联合 对 角 化 酉 矩阵 U ERR (A, B) 
的 广义 特征 矩阵 相同 ， 而 对 角 矩 阵 44, Ay 与 广义 特征 值 矩 阵 A 之 间 存 在 关系 A = 
4445L。 
8.12.2 ”近似 联合 对 角 化 算法 

如 前 所 述 , 近似 联合 对 角 化 就 是 根据 给 定 的 K MERE A,, 42,… ,Ak， 求解 使 得 式 
(8.12.15) 最 小 化 的 联合 对 角 化 器 U URE Ay, 42,… Ago 然而 , 在 很 
多 工程 应 用 中 , 只 使 用 联合 对 角 化 器 口 , TRENAR A, 42,… Ago FG, 如 何 将 
近似 联合 对 角 化 问题 简化 , 转换 成 只 包含 联合 对 角 化 器 U 的 最 优化 问题 , 便 是 一 个 有 着 
实际 意义 的 问题 。 

L Bhat RHE 

SS RIN RS AOL. 此 时 ， 由 于 YR > 0,， 故 联合 对 角 化 式 (8.12.15) 可 以 等 
价 写作 


K 2 K 2 
min Y Ja 一 vaw") =} min la, 一 vav”) (8.12.20) 
koi k=l 


RH, U 为 酉 矩阵 。 
下 面 分析 min jA- UAU N 的 最 小 化 。 显而易见 , 对 杆 A, eC, 有 


n 2 
min |a - va. =min||A, - Y due (8.12.21) 
i=l F 
定义 
W = [vec(u, ull), vec(u gull), --- , vec(uput)] € Cn xn (8.12.22) 
AH REL ESER 


vec(ABC) = (CH @ A)vec(B) (8.12.23) 
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可 将 W 改写 为 向 量 的 Kronecker HER: 


= [u] 8 wy, @ tty, Uatn] 


AMHER U 的 同性 及 恒等式 


(48 B)(C @ D) = (AC) @ (BD) 
得 到 
War =I, 
定义 
dy = [dy (1), 4,(2),--- dpl] 


则 式 (8.12.2) 可 表示 为 


min 


ist 


K 
AR — > dyuull 


2 
= min |jvec( A, — 
F 


这 是 一 个 大 家 所 熟悉 的 最 小 二 乘 问题 , 其 解 为 


dy, = (WIW) W#vec( Az) 


由 式 (8.12.20) ~ 


式 (8.12.22) 可 得 到 对 角 化 矩阵 的 解 为 


> E a y2 
U = arg PE [frectas) 一 Ta 人 


将 式 (8.12.29) 的 dp, 代入 式 (8.12.30)， 并 利用 式 (8.12.26), 则 有 


0 = xem worm wr vean 


= argmax $ | www WF ecan] 


= argmax X> || ww" 
1 


=argmax | WH 


利用 式 (8.12.23) 和 式 (8.12.24)， 知 


[orsa = 


2 
vecta], 


2 
veeda， 


n 


> (u7 @ wvec( Ar) lz 
i=1 


= hu Age, P 


1 


a 


Wa 


(8.12.24) 


(8.12.25) 
(8.12.26) 


(8.12.27) 
(8.12.28) 
(8.12.29) 


(8.12.30) 


(8.12.31) 


(8.12.32) 


8.12 联合 对 角 化 567 


将 式 (8.12.32) 代入 式 (8.12.31)， 立 即 得 


a K . 2 
= “en ) jaista] (8.12.33) 
这 表明 ， 联 合 对 角 化 矩阵 U 可 通过 最 小 二 乘 方法 求解 上 式 得 到 。 这 一 方法 是 Wax 与 
Sheinvald 于 1997 年 提出 的 3 。 
2. Jacobi 算法 
在 数值 分 析 中 , 一 个 正方 矩阵 M = [Ms] 所 有 非 主 对 角 线 元 素 的 绝对 值 的 平方 和 定 
义 为 该 矩阵 的 of 函数 , 即 


of(M) £ bp SM? (8.12.34) 
i=, ij FHL 
利用 off BH, HARAKAN Ate) Breed. 
由 定义 知 ， 联 合 对 角 化 的 目标 函数 也 可 以 等 价 写 作 


K 
J(U, Ay, Aa Aa) = > Jla; 一 uta (8.12.35) 
k=l 
或 者 k 
JU) = J of(U"A,U) (8.12.36) 
k=l 


从 这 一 目标 函数 出 发 ，Cardoso 等 人 (1871 提出 了 近似 联合 对 角 化 的 Jacobi 算法 。 这 一 
算法 是 对 角 化 单个 Hermitian 矩阵 的 Jacobi 算法 De9 的 推广 , 其 基本 思想 是 使 用 一 连 串 
Givens 旋转 , 使 目标 函数 式 (8.12.36) 最 小 化 。 具体 做 法 是 , 对 K 个 2 x 2 THEE 


ch = K z] ， k=1,8 ,kK (8.12.37) 
k k, 


求解 相同 的 问题 : 寻找 一 个 2 x 2 MERE G 使 得 
CL=G"C,G, k=1,2,---,K (8.12.38) 


能 够 最 小 化 式 (8.12.36) 定义 的 目标 函数 I, HP 


cos 6 e$ sind 
G= | ss。 cos | (8.12.39) 


k 
记 和 矩阵 C4 ITERA ahs bhs ch, dt» 则 式 (8.12.36) 的 最 优化 就 是 求 9,6, 1848 Sof. [+ 
k=l 
Wo? RAW. EER Alah + lagh) = lag — dl + fo, + dls EER of + dy EAT 
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酉 不 变 的 ， 所 以 式 (8.12.36) 的 最 优化 等 价 为 
K 
Q=) -dP (8.12.40) 
k=l 


最 人 化 。 
容易 验证 , 对 于 天 = 1 2,…- ,到 , 有 . 
ak — dy = (a, — dy) cos 20 — (by + cp) sin 20 cos $ — j (c, ~ bp) sin 20 sin o (8.12.41) 


BEM 


u = fa} — da — dai ae — diel” (8.12.42) 
v = [cos 28, ~ sin 20 cos Q, — sin 20 sin } (8.12.43) 
Gi = lag — di By + Cha} (Cr — By] (8.12.44) 


则 式 (8.12.41) 中 的 站 个 方程 可 以 合并 写作 矩阵 方程 w = Gu, 其 中 , G = [ggn axle 
TH, 式 (8.12.40) H ERAR Q 可 以 改写 为 


Q = uu =oTGHGo = vTRe(G Gw (8.12.45) 


由 式 (8.12.43) 易 知 vv = 1。 因此 , 目标 函数 可 以 等 价 写作 


Q= vwIRe(GHG)w 
E viv 


(8.12.46) 


这 人 恰好 是 熟知 的 Rayleigh Fi. 显然, 当 v ASB Re(G™G) 的 最 大 特征 值 对 应 的 特征 
向 景 时 , Q 取 极 大 值 。 由 特征 向 量 v, 即 可 求 出 Givens 旋转 的 参数 8 和 加 

对 矩阵 Ay, 42，… Ag 的 非 对 角 元 素 实施 一 系列 的 Given 旋转 , 即 可 实现 这 些 和 矩阵 
的 联合 对 角 化 。 所 有 Givens 旋转 矩阵 的 乘积 即 给 出 联合 对 角 化 器 UU。 这 就 是 Cardoso 等 
人 提出 的 近似 联合 对 角 化 的 Jacobi 算法 187, 

3， 子 空间 算法 

一 般 地 ,给 定 K A nx on MBE An Ano sAr 的 情况 下 近似 联合 对 角 化 问题 的 
解 可 以 写作 

K 2 
(W,Ay Ag} = gg in x Ja. - val (8.12.47) 

SUP, A, 是 实 的 对 角 和 矩阵 。 在 正 交 近似 联合 对 角 化 的 情况 人， 联合 对 角 化 器 U AAE 


BE, 其 列 向 量具 有 单位 范 数 , 即 lezle = 1。 
定义 m, = diag(A,) EHIH A 的 对 角 元 素 组 成 的 向 量 , 并 令 


A = [vec(A1), vec( A3), + ,vec( Ax) 


M = [mm mg] 
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则 联合 对 角 化 问题 的 代价 函数 可 以 等 价 写 为 
K K 
Yava = Y Iveta) = 0 oD) aingl AI 
k=1 k=l 
= ja 一 (Co ad (8.12.48) 


RP, CoD 是 矩阵 的 Khatri-Rao 积 ， 它 是 矩阵 列 分 量 的 Kronecker 积 ， 即 


Co D= [c @ dye) @ dy,--- ,en BA,l (8.12.49) 
丁 是 , 联合 对 角 化 问题 的 解 式 (8.12.47) 可 以 换 写 为 
(U,M} = arg in, |A - BaMd| ， B=U'oU (8.12.50) 
这 一 最 优化 问题 是 可 分 离 的 , 内 为 M 的 最 小 二 乘 解 为 
M = (BB) BHA (8.12.51) 
将 式 (8.12.51) 代入 式 (8.12.50) 后 , 又 可 消去 M， 并 得 到 


U = argmin |á- BEBB A| = argmin Psal (8.12.52) 


AP, Ph = I- BUBB) B™ 为 正 交 投影 矩阵 。 求 解 最 优化 问题 式 (8.12.52) 的 具体 算 
法 可 参考 文献 [457]. 

上 面 介绍 的 三 种 算法 都 属 王 正 交 近似 联合 对 角 化 算法 ,因为 它们 给 出 的 联合 对 角 化 
器 为 本 矩阵 。 如 果 不 对 联合 对 角 化 器 加 正 交 约束 ， 即 得 到 所 谓 的 非 正 交 近似 联合 对 角 化 
问题 。 

对 非 正 交 近似 联合 对 角 化 算法 有 兴趣 的 读者， 可 以 参考 文献 [493]. 


8.12.3 ”近似 联合 对 角 化 的 另 一 种 解法 


在 前 面 讨论 的 言 信号 分 离 中 ， 定 理 8.12.1 表明 分 离 矩 阵 W 的 联合 对 角 化 结果 是 混 
合 矩阵 A 的 广义 递 矩阵 At 的 本 质 相等 矩阵 , WW = AIG = APD, RH, G 是 mxm 
广义 置换 矩阵 。 

最 近 , 文献 [152] 提出 了 求解 诗 信 号 分 离 的 联合 对 角 化 问题 的 另 一 种 解法 。 这 一 解法 
是 一 种 二 步 方法 : 第 一 步 为 降 维 , 第 二 步 为 联合 对 角 化 。 

QET 为 m x 和 矩阵 ， 它 的 列 空间 与 混合 失 阵 的 列 空间 相等 , 即 


Col(T) = Col(A) (8.12.53) 
这 意味 着 下 和 A 一 样 , WERI. 由 于 TSA A nxn RE, 并 且 n < m, 故 可 
K nxn 和 矩阵 TEA4 视 为 m xn 混合 矩阵 4 的 降 维 结果 。 在 这 一 意义 上 , m x n EET 
称 为 降 维 矩阵 。 
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令 
x 
C= SRB) Pelt) (8.12.54) 
k=l 


其 特征 值 分 解 为 


C=VEDV (8.12.55) 


通过 比较 特征 值 的 大 小 ， 邮 可 得 到 n PERE An Ags An 以 及 与 之 对 应 的 特征 向 
E oup Uno 由 于 Spanfolpa Un} = Col(4)， 故 可 以 令 mx n 降 维和 矩阵 


T = [tta Val (8.12.56) 


BR, 它 满足 THT = Ipo 
获得 降 维 矩 阵 T, 可 以 直接 将 m x 1 观测 数据 向 量 z(t) 降 为 n x 1 向 量 z(t) 即 有 


z(t) = THe(t) = THAs(t) + THv(t) (8.12.57) 
由 于 4 和 开张 成 相同 的 列 空间 , 所 以 存在 一 个 n x n FARER Bo 使 得 


A=TB, (8.12.58) 


用 TH ERLER, 并 使 用 THT =I, 的 结果 , 立即 有 T'A = Bo。 利用 这 一 关系 , 可 
以 将 式 (8.12.57) 改写 为 


z(t) = Bos(t) + THv(t) {8.12.59) 


BEA 


R,(0) = E{2(t)z"(t)} = Bodiag[o, (0), 02(0),--+ ,pn (OBO + T”R,T (8.12.60) 
R(T) = E{z(t)z" (t —7)} = Bodiaglo: (7), p2(7) t ,pn (TBE, 7 £0 (8-12.61) 


RP, R,(r) = THR,{7)T。 3 (8.12.60) WA (8.12.61) 表明 , 考取 天 0,， 则 可 以 在 完全 
抑制 加 性 噪声 向 量 v(t) 的 情况 下 ,由 式 (8.12.61) 辨识 出 n xn ERE Bo TII (8.12.61) 
是 一 个 典型 的 联合 对 角 化 问题 。 

一 旦 通过 求解 慌 合 对 角 化 问题 式 (8.12.61), 得 到 n x n SEM By 后 ， 便 可 以 由 式 
(8.12.59) 直接 得 到 信号 分 离 结果 为 


a(t) = Bhz(t) (8.12.62) 


此 ,现在 的 问题 变 成 了 是 否 能 够 利用 式 (8.12.61). 直接 辨识 Bt, 而 不 是 Bo 本 身 。 这 
个 问题 的 答案 是 肯定 的 , 其 关键 是 引入 向 量 的 双 正 交 。 

定义 nxn 韭 奇异 矩阵 By = [bonbon ;bon] AEREE B = [bha bho s bhn]o 
由 BB=BB"=fF, Kl 


(Bh, by; = bia, = 66-7) (8.12.63) 


8.13 特征 分 析 与 Fourier 分 析 571 


这 一 关系 称 为 矩阵 B 与 族 矩 阵 的 列 向 量 之 间 的 双 正 交 关 系 (biorthogonality relation). 
双 正 交 关 系 也 可 以 用 子 空间 形式 写成 


boi 4 Span{bbis ee ,bhi bbi binh E= LR sn (8.12.64) 
bl; 上 Spanfbo .~ 0 和 1 (8.12.65) 


注意 到 式 (8.12.61) 可 以 等 价 写作 


RA) = Yo pir )bordtt, T#0 (8.12.66) 
i=l 


上 式 两 边 右 乘 册 ， 并 利用 双 正 交 关 系 式 (8.12.63), 立即 有 

R (rbl; = py(r)boy, TZO j=l n (8.12.67) 
取 式 (8.12.66) MBH MH, OH bl XE 

RË (rbi; = pi (T)bog, 7 #0, 9 =1,2,--- 40 (8.12.68) 


式 (8.12.67) 和 式 (8.12.68) 启迪 了 求 bo; 的 目标 函数 
K 
Jie er) = $ |R, w ~ ex reroll, (8.12.69) 
k=l 


显然 , Æ w = bho cp = pismo)/p? (Te) = 12K, M hlen ,ck) = 0 E 
w = bhi Alo, = pC) hk = 1,2, K 是 Jw ,ck) 的 全 局 极 小 点 。 

无 约束 优化 问题 min F(w; c1,… , cx) 的 求解 可 以 使 用 迭代 法 : 先 随机 产生 一 个 向 量 
w, 用 它 作 初 始 值 代入 式 (8.12.69), 再 使 了 最 小 化 , 得 到 c1,… ,cr。 然 后 ,将 c1,… ,cx 
代入 式 (8.12.69), 通过 使 了 最 小 化 , 又 可 更 新 w 的 估计 。 有 关 算 法 的 具体 实现 , 读者 可 


进一步 参考 文献 [152]。 

联合 对 角 化 问题 广泛 存在 于 守信 号 分 离 四 BT0s4,1323l493、 言 波束 形成 [3 、 时 延 估 
计 [94、 频率 估计 B3、 阵 列 信号 处 理 7、 多 输入 - 多 输出 (MIMO) 盲 均衡 Wa 以 及 
E MMO 系统 辨识 BA 等 中 , 并 已 获得 诸多 成 功 的 应 用 。 
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特征 分 析 与 Fourier 分 析 有 着 密切 的 关系 。 为 了 解释 清楚 这 种 关系 , 有 必要 先 介 绍 线 
HERF. 
8.13.1 ”线性 算 子 

在 很 多 铺 况 下 , 我 们 对 某 些 向 量 的 集合 感 兴趣 。 
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定义 8.13.1 UAV 是 两 个 向 量 空间 ,是 从 到 VV 的 一 个 函数 , 即 C: UV。 
PR L 是 线性 算 子 (linear operator), 若 对 于 所 有 标量 apao 入 中 的 所 有 向 量 w1,z2, 有 
Lax, 十 aaza] = aiCfzei] + aac[za] (8.13.1) 
线性 算 子 也 称 线性 变换 (linear transformation) 或 线性 映射 (linear mapping). 
若 对 任意 非 零 向 量 w A Clw] =w, 则 称 C 为 恒 等 变换 (identity trnsformation). 
当 一 个 线性 算 子 作用 于 一 向 量 时 ， 如 果 仍 然 输 出 此 向 基 ， 便 称 该 线性 算 子 具有 输入 重生 
{input-reproducing) 特性 。 输入 重生 有 两 种 情况 : 
(1) 对 任何 非 零 输 入 向 量 , 线 性 算 子 的 输出 向 量 都 与 输入 向 量 完全 相同 ( 恒 等 算 了 
即 属 这 种 情况 )。 
(2) 只 是 对 某 些 特定 的 输入 向 量 , 线性 算 子 的 输出 向 量 才 与 输入 向 量 相 同 ,并 生还 
相差 一 个 常数 因子 。 ` 
定义 8-13.2 若非 零 向 量 u 作为 线 忻 算 子 C 的 输入 时 , 所 产生 的 输出 与 输入 相同 
(项 多 相差 一 个 常数 因子 A) B 


Liu] =rAu, uO (8.13.2) 


则 称 向 量 u 是 线性 算 子 £ 的 特征 向 量 ， 称 标量 为 线性 算 子 £ 的 特征 值 。 

工程 应 用 中 最 常 几 的 线性 算 子 成 线性 变换 当 属 线性 时 不 必 系 统 ， 其 一 连 串 的 输入 可 
以 视 为 向 量 , 对 应 的 输出 也 为 向 其 形式 。 由 上 述 定义 知 ， 关 将 每 一 个 特征 向 量 te 视 为 线 
性 时 不 变 系统 的 输入 , 那么 与 每 一 个 特征 向 量 对 应 的 特征 值 》 就 相当 于 线性 系统 乙 输入 
该 特征 向 量 时 的 增益 。 由 于 只 有 当 特征 向 量 u 作 线 性 系统 C 的 输入 时 , 系统 的 输出 才 具 
有 与 输入 相同 ( 除 相差 一 个 倍数 因子 外 ) 这 一 重要 特征 , 所 以 特征 向 量 (eigenvector) 可 以 
看 作 是 表征 系统 特征 性 质 的 向 量 , 其 英文 名 又 叫 characteristic vector。 这 就 从 线性 系统 的 
观点 , 给 出 了 特征 向 其 的 物理 解释 。 

特别 地 ,我 们 来 考虑 使 用 复 指数 汕 数 或 复 谐 波 信号 cee 作为 线性 时 不 变 系统 £ 的 
输入 。 令 线性 系统 的 传递 函数 为 Ho”) = JO eie, 其 中 h(k) 称 为 系统 的 冲 激 

天 一 一 co 

响应 系数 。 由 于 系统 的 输出 是 系统 输入 与 系统 冲 激 响应 的 卷 积 和 , 故 有 


cja = > h(n ~ ke ok = > Albee = 百 (ei"jeicn (8.13.3) 


k=~00 大 = 一 co 


4n=0,1,---,N-1, UA 


1 1 
ele Je 
cy. | =a) ] . 
GAN- eiv(W-1) 


Liw(w)] = H(el)w(w) (8.13.4) 
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式 中 
ww) = [Lebo ele IT (8.13.5) 
式 (8.13.4) 表明 , HE ww) = [lei“，…,ei"(w-D]T 是 线性 时 不 变革 统 的 特征 向 量 ， 
而 系统 传递 函数 Hel) 是 与 w(w) 相对 应 的 特征 值 。 由 于 对 于 每 个 频率 w A (8.13.4) 
都 成 立 ， 所 以 线性 时 不 变 系统 有 无 穷 多 个 特征 向 量 ww), w = -oo,…… , 00， 相对 应 的 特 
征 值 也 有 无 穷 多 个 ,它们 是 H(A), w = —00,++- 008 
由 Lju] = Au 表示 的 特征 系统 (cigensystem) 可 以 推广 为 259) 


Lju) = ALlau), uAO (8.13.6) 


这 一 推广 的 特征 系统 由 两 个 线性 系统 共同 组 成 ; 两 个 线性 系统 都 以 向 量 u 作为 输入 , 但 
第 一 个 线性 系统 L 的 输出 Clu] 是 第 二 个 线性 系统 L 的 输出 Llu 的 菜 个 常数 倍 。 常数 
和 是 两 个 线性 系统 组 成 的 广义 特征 系统 的 特征 值 ( 即 / 义 特征 值 )， 它们 的 共同 输入 向 量 
u 是 与 广义 特征 值 和 对 应 的 广义 特征 向 量 。 


8.13.2 Fourier 分 析 与 特征 分 析 


Fourier 分 析 是 一 种 非常 有 用 的 数学 十 具 , 广泛 应 用 于 数学 、 物 理 、 信 息 科 学 和 谐 多 
工程 学 科 。Fourier 分 析 由 Fourier 级 数 和 Fourier 积分 变换 两 部 分 组 成 。 
一 个 周期 为 T 的 平稳 的 周期 随机 过 程 z(t) 可 以 用 Fourier 级 数 展开 为 


a(t) = £ cpet Bot (8.13.7) 


k=-00 


RP, wo = 2n/T 为 角 频 率 ，cx 称 为 展开 系数 或 Fourier 系数 ， 由 Fourier 变换 


T | 
a= z Í z(t)e-i Molde (8.13.8) 


确定 。 
对 随机 过 程 的 周期 性 要 求 可 以 保证 展开 系数 ck 和 6 Æ kn 的 情况 下 相互 正 交 。 


其 证 明 如 下 。 
让 式 (8.13.8) 易 求 得 


Elese} = LE { Í 7 f T düa (uel snterimenraidu) (8.13.9) 
kent = T? o o 1. 


1 T eT 
= a, Í R(E — ud ol") ded (8.13.10) 
0 0 


A, R- u) = BE{z(#)z*(u)} 蚌 周 期 随机 过 程 e(t) HK, CREAR. Sr 
后 (lag) r =t- u, W 
R(T)= SO bye ™07 (8.13.11) 


mn 二 一 oo 
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HERRAR (8.13.10) 得 
Elect} = z S, 7 i YE hem eo didu 

-È ap Í, T guta Í ieom-mudu 

_ Jl, k=n 

(0, ken 
EH knit, 展开 系数 cp 和 cn EM 反之 , 也 可 以 证 明 , 和 欲 使 展开 系数 正 交 , 则 平稳 
的 随机 过 程 必须 是 周期 函数 。 

一 个 平稳 的 非 周 期 随机 过 程 不 可 能 用 相互 正 交 的 系数 展开 为 Fourier 级 数 形式 , 但 可 

以 几 相 互 正 交 的 系数 展开 为 正 交 函数 四 (5 的 级 数 形式 。 这 种 方法 称 为 Karhunen-Eoeve 


展开 。 
候 定 一 个 平稳 的 非 周 期 随机 过 程 r(b 的 时 间 定义 域 为 区 间 fa b) W z() 可 以 用 级 


数 形式 展开 为 
a(t) = J agcede(t) (8.13.12) 
k=1 
SUP, ax 是 实 或 复 常数 , 并且 
b . _ jl, k=n 
ff aoned f tan (8.13.18) 
JL k=n 
E{cycn} = f kén (8-13.14) 


用 oe (@) FER (8-13.12) 的 两 边 ， 再 对 时 间 ¢ 在 区 间 fo, 0) 内 积分 ， 并 且 使 用 式 (8.13.13), 
易 知 


gat Í "(gt (eat (8.13.15) 


a, Ja 


式 (8.13.12) 称 为 随机 过 程 x(t) 的 Karhunen-Loeve 展开 ， 是 一 种 正 交 展开 ; 而 积分 
变换 式 (8.13.15) HA x(t) 的 Karhunen-Loeve 变换 。 因 此 , 使 用 Karhunen-Loeve 展开 和 
Karhunen-Loeve 变换 对 随机 过 程 进行 分 析 时 , 需要 确定 复 常 数 ok 和 正 交 基 郑 数 f(t)。 

计算 随机 过 程 的 白 相关 育 数 ， 并 利用 展开 系数 的 正 交 式 (8.13.14), 立即 有 


R(t, u) = E{x(t)e*(u)} 
=E { 5 ok 人 国信 wo} 
k=1 n=l 


=J larl hek) (8.13.16) 


k=1 
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由 上 式 及 式 (8.13.13) 得 
oo 
Í R(t, ujo, (udu = > Johl) f 4; (u) Oi (udu = ja; PAE) (8.13.17) 
a 各 a 


这 表明 , 复 常数 的 模 平方 las|? 是 积分 方程 的 特征 值 A ERAR olt) 是 与 该 特征 值 对 应 
的 特征 函数 g(t), 8I 


ff Re aldu = r9(0 (6.13.18) 


以 上 讨论 的 是 连续 时 间 的 单个 平稳 非 周期 随机 过 程 的 情况 。 下 面 考查 m 个 离散 时 间 
的 平稳 非 周期 随机 过 程 e(n) (n 二 1,2,---,N,i=1,2,---,m) 的 级 数 展开 表示 。 为 此 , 我 
们 先 来 讨论 任意 一 个 向 量 的 坐标 表示 。 

定理 8.13.1 令 允 是 一 向 量 空 间 , 并 且 B= (ry, to,… , up 起 VV 空间 的 一 组 基 向 
E. 对 于 VY 空间 内 的 每 一 个 向 其 w, 存在 唯一 的 一 组 标量 ,使 得 ww 可 以 表示 成 


w = wt + Wyte +++ + Wet, (8.13.19) 
证 明 假定 we V 有 两 种 不 同 的 表示 方式 ， 
W = WU, + Wott, 十 + Wy By 
W= Oty + Atg ++ Apt 
两 式 相 减 , 得 
0= (wy — a)i + (wz 一 aajas 十 十 (op 一 op)jtp 
由 于 {unun up} 为 基 向 量 , 它们 线性 无 关 , 因此 w -a = 0, 如 -aa =0, -+ ,wp 一 
ap = Or Ef oy = waz = Wy,… ,0 = wy 即 是 说 , 当 利 用 基 BB 表示 向 量 w 时 , 不 可 能 
有 两 种 不 同 的 表示 方式 。 a 
定理 8.13.1 表明 , 向 量 空间 V 内 任 一 向 量 w 的 唯一 表示 决定 于 基 B = {uu 
uy} 的 选择 和 标量 w, two,… ,wp 的 确定 。 基 向 量 uy, ug, ++ ,ap 组 成 了 向 量 表示 的 坐标 系 
(coordinate system), 而 标量 wi,w2,… ,aop RAYA w 相对 于 基 B RGAE (coordinates), 
这 些 坐 标 组 成 的 向 量 


(8.13.20) 


称 为 向 量 w 相对 于 基 B 的 坐标 向 量 (coordinate vector). 

很 自然 地 ， 与 坐标 轴 通 常 应 该 相互 了 还 直 类 似 ， 坐 标 系 u ta … ,ap 最 好 相互 正 交 。 
标准 正 交 基 {w oa, ,wp} 的 使 用 给 坐标 向 量 的 确定 带 来 很 大 的 方便 : 用 uf ERR 
(8.13.19), 并 注意 到 正 交 性 ufu, = ôli- j) 立即 有 


w; = už = (u; w) (8.13.21) 
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换 句 话说， 若 使 用 标准 正 交 基 (te), wz,… ,ttp} 作为 向 量 w 表示 的 坐标 系 , 则 w 的 坐标 
可 以 利用 式 (8.13.21) 直接 确定 。 
定理 8.13.1 构成 了 著名 的 Karhunen-Loeve 展开 的 理论 基础 : 为 了 寻找 m 个 离散 时 
间 的 平稳 非 周 期 随机 过 程 zi(n) (n = 1,2,… ,Ni = 12,…… ,m) 的 级 数 展开 ， 关 键 是 如 
何 选择 一 纽 适合 于 a(n) (n = 1,2,… ,NN, i= 1 2 ,m) 的 标准 正 交 基 作 为 坐标 系 。 

令 m = [2;(1),2,(2),--- 2 (NT 表示 第 ;个 随机 过 程 的 观测 数据 向 量 , gx = |p.(1)， 
(2),… O(N)? 表示 第 大 个 正 交 基 向 量 , 即 


l, k=j 


E = 
E{ de dj} = fo RAG (8.13.22) 
TÆ, Karhunen-Loeve 展开 式 (8-13.12) 变 为 
N 
r=) enpr (8.13.23) 
kel 
ES 
G = fent en)” (8.13.24) 
则 式 (8.13.23) 可 以 写成 更 加 紧凑 的 形式 , 即 
zi = Be, (8.13.25) 
AA, B= [的 的 ,w]e 
将 式 (8.13.25) 代入 M 个 随机 信号 向 量 32,, 22,…' ,zy 的 相关 算 阵 , 得 
M M 
R= E{zat}=s (> Etac) g" (8.13.26) 
iat z 
但 由 于 要 求 展开 系数 必须 相互 正 交 ,， 故 
` 0 
M de 
V Elat} = 本 =D (8.13.27) 
= 0 dw. 
于 是 , 式 (8.13.26) TSA 
R= Dé" 或 R$=$D 
即 有 有 
Ro, = 看， 二 12 (8.18.28) 


这 说 明 , 基 向 量 p 是 N x N 相关 和 矩阵 R 的 特征 向 量 , 与 之 对 应 的 特征 值 为 Ni。 
R (8.13.25) 两 边 左 乘 矩阵 BH， 并 注意 到 正 交 基 向 量 9 满足 PTS =I, 即 得 


ci = Bg, (8.13.29) 
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综合 定理 8.13.1 和 以 上 讨论 , 利用 相关 矩阵 的 特征 值 和 特征 向 量 对 M 个 随机 过 程 
得 观测 向 量 z1, zz, ,zw 进行 分 析 的 方法 可 以 总 结 如 下 。 
(1) 利用 式 (8.13.25) 计算 N x N 相关 矩阵 五 。 
(2) XAKER R 进行 特征 值 分 解 ， 得 到 特征 值 和 及 对 应 的 特征 向 量 wp i= 
1,2,… ,N。 取 已 个 大 特征 值 及 其 对 应 的 特征 向 最， 组 成 P x N JERE U = 


[tis wo, ple 


(3) 利用 这 已 个 特征 向 量 作 标准 正 交 基 , 对 第 i 个 随机 向 量 的 级 数 展开 式 为 


P 
= Crug i=1,2, e, M (8.13.30) 
kzi 


称 为 随机 向 量 的 线性 特征 向 量 展开 (linear eigenvector expansion)。 展 开 式 中 的 
展开 系数 ci 由 


G =U"s, i=1,2,M (8.13.31) 


确定 , 其 中 , ©; = [anen Gp i= 1,2, Me 
如 前 所 述 ，Fourier 级 数 和 Fourier 展开 共同 构成 了 Fourier 分 析 的 理论 框架 。 与 此 
相 类 似 , SK (8.13.30) 和 式 (8.13.31) 一 起 形成 了 对 平稳 非 周 期 随机 过 程 的 分 析 方 法 。 由 
于 这 种 方法 是 基于 特征 值 和 特征 向 量 导 出 的 , 所 以 很 自然 地 可 以 称 之 为 随机 过 程 的 特征 
分 析 。 
对 于 单个 随机 向 基 , 线性 特征 向 量 展开 式 (8.13.30) 简化 为 


P 
s=) ou (8.13.32) 
k=1 


式 中 , 展开 系数 cx 由 向 基 的 内 积 


ck = (Uy, 2), 2 (8.13.33) 


确定 。 这 恰好 就 起 式 (8.13.21)。 
线性 特征 向 其 展开 式 (8.13.30) 表明 , 特征 向 量 可 以 定义 一 种 新 的 坐标 系 。 
这 一 坐标 系 由 P 个 相互 乘 直 (MFX) 的 坐标 组 成 。 当 随机 向 量 = 作为 线性 系统 L 
的 输入 时 ， 由 式 (8.13.32) 知 , 线性 系统 的 输出 为 


P P 
La] = £ [= ot = Se, Llu] (8.13.34) 
k=i kot 


由 于 Llww] = 和 ww， 上 式 给 出 结果 
P 
£[z) = 了 (8.13.35) 
kzi 


这 说 明 , 如果 使 用 特征 值 和 特征 向 量 , 线性 系统 的 输出 Le] 将 变 得 容易 计算 。 
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综合 以 上 讨论 , 可 以 看 出 , 特征 值 和 特征 向 量 不 仅 是 随机 向 量 的 线性 展开 的 有 力 土 
A, 而 且 也 对 线性 系统 输出 的 分 析 有 着 重要 的 作用 。 

式 (8.13.32) 可 以 用 米 解释 随机 信号 的 功率 谱 。 考虑 离散 随机 信和 号 z(0), (1), --- ,z(N 一 
1) 的 功率 谱 。 定义 Fourier 向 量 为 


w= [Let,s ,0 ND (8.13.36) 


则 z{0),z(1),…. ,Zz(N — 1) 的 离散 Fourier 变换 即 信 号 的 频谱 为 


N-1 
Xv) = Yo (het = whe (8.13.37) 
k=0 


由 于 信号 的 功率 谱 P(w) 定义 为 频谱 模 值 的 平方 , 故 


P(w) = |X (w)? = joa? = w" ea") w = wf (8.13.38) 


式 中 , N xN JER È = oo 是 自 相关 矩阵 R = E{a(t)o™(t)} 的 瞬时 估计 。 令 A eE 
值 分 解 为 


N 
È=) duu (8.13.39) 
kar 


式 中 , Ay BAg Ro d Aye TH, A (8.13.38) 定义 的 功率 谱 可 以 写作 


P(w) = w" Rw = Shea? 20 (8.13.40) 
k=l 
因为 特征 值 和 A; > 0。 
由 于 Fourier 向 量 的 元 素 以 角 频 率 v 为 变量 ， 功 率 谱 P(w) 取 连 续 活 数 形式 。 此 
m, Rayleigh 商 为 ah 
aw < a SA (8.13.41) 
注意 , 对 于 N x 1 维 Fourier Aid w, 有 ww =N. 将 这 以 一 结果 代入 式 (8.13.41), 立 
即 有 
NAw < Pw) & NA (8.13.42) 

从 以 上 分 析 可 以 得 出 功率 谱 分析 的 以 下 结论 : 

(1) 由 于 Rayleigh 商 的 性 质 , 功率 谱 Pw) 的 取 值 位 于 区 间 [Này NA]. 

(2) 当 Fourier 向 量 碰巧 是 È 的 一 个 特征 向 量 , 并且 对 应 的 特征 值 非 零 时 , 功率 谱 

P(w) 取 极 大 值 即 峰值 。 

应 当 指出 , 对 于 一 般 的 随机 信号 ，Fourier 向 量 不 会 碰巧 与 信号 相关 算 阵 的 特征 向 其 
一 致 。 然而, 对 于 等 距离 布置 的 直线 阵列 , 这 一 情况 是 会 发 生 的 。 此 时 , 各 个 阵 元 观测 信 
号 的 空间 自 相关 和 矩阵 是 Hermitian 矩阵 ， 其 理想 的 特征 向 量 取 Fourier 向 量 的 形式 。 对 此 
感 兴趣 的 读者 可 进一步 参考 文献 [239]。 
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本 章 小 结 


WEDS TENS BA, 不 仅 标准 的 特征 值 分 解 有 许多 有 趣 的 性 质 
和 广泛 的 应 用 ， 而 且 它 还 有 各 类 院 有 趣 ， 又 极为 重要 的 推广 ， 广 义 特征 什 分 解 、Rayleigh 
商 、 广 义 Royleigh 商 、 二 次 特征 信和 多 个 算 阵 的 联合 对 角 化 ， 它 们 之 阅 有 以 下 关系 
(1) AARNE AERP (A, B) 的 广义 特征 值 分 解 等 价 为 AB HREH 
(2) ARAE A 的 Rayleigh 商 = AM 的 极 小 值 和 极 大 值 的 解 Ou) 分别 
是 与 4 AMORA KAHERA MEEA 
(8) 满足 对 称 短 阵 束 (4, B) 的 广义 Rayleigh 商 = YAE 的 家 小 信和 极 大 人 的 多 
(Ayu) 分 别 是 与 短 阵 训 (A,B) 的 最 小 和 最 大 的 广义 特征 值 对 应 的 广义 特征 对 ; 
的 二 次 特征 值 问题 通过 线性 化 ,可 以 转换 为 标准 的 特征 信 问 题 东 解 
(5) 两 个 对 称 短 阵 的 联合 对 角 化 等 同 于 这 两 个 全 阵 级 成 的 算 阵 束 的 广义 特征 值 分 解 
围绕 这 些 推广 的 特征 值 分 解 ， 本章 分 别 列举 了 一 些 洪 型 的 应 用 例子 
最 后 ， 本 章 还 讨论 了 特征 分 术 与 Fourier 分 析 之 间 的 关系 。 


习 ”是 


8.1 证 明 当 A ET, HE BA 的 特征 值 与 ABA 的 特征 值 相同 。 
8.2 Hn MER 4 的 全 部 元 素 为 1, 求 4 的 ”个 特征 值 。 
8.3 BUER: 

0 1 o 
1 0 0 
A= lo 0 1 
00 
(1) 已 知 A 的 一 个 特征 值 为 3, 试 求 y 值 。 
(2) RER P, 使 (4P)TAP AX AEH. 
8.4 PBE a(0) = 2,v(0) = 8。 利 用 特征 值 求解 微分 方程 


-eoo 


wees 


2 


u(t) = 3u(t) + v(t) 
v'(t) = —2u(t) + oft) 


8.5 24x 4 tÈ Hessenberg 矩阵 
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证 明 以 下 两 个 结果 : 
(1) 车 anba c IRETE, H H 的 任意 特征 值 为 实数 , 则 A 的 几何 多 重度 必 
定 等 于 1。 

(2) Æ H 与 对 称 矩阵 A 相似 , 并且 A 的 某 个 特征 值 和 的 代数 多 重度 大 于 1， 则 
az bsc 至 少 有 一 个 等 于 零 。 
8.6 证明 以 下 各 题 : 

() # A= A = A" e O™, 并 二 rank(A) =r <n, MEE nxn BH V, EG 


VHAYV = diag(I,,0) 

Q) E A=A%CO™, 并 H A = In WEEBER V, 使 得 
VHAV = diag(I,,Z,_,) 
8.7 令 H =I -—2uu" 为 Householder 变换 矩阵 。 
(1) 证明; 具有 单位 范 数 的 向 量 u 是 Householder 变换 矩阵 的 特征 向 量 , 并 求 与 之 相 
对 应 的 特征 值 。 

(2) 车 向 量 w 与 u 正 交 , 证 明 w 是 矩阵 五 的 特征 向 量 , 并 求 与 之 对 应 的 特征 向 量 。 
8.8 WHERE A 和 BB 相似 , 其 中 


-2 0 0] -+ 00 
A= 2|, B=| 020 
1 


00 y 


(1) R a Ail y 的 值 。 
(2) RATE P, 使 得 PTAP =B. 
8.9 “利用 分 块 矩阵 ， 可 以 将 矩阵 的 特征 值 问题 降 维 。 令 


4= |3 Z| onze 


证 明 det(A — AI) = det(B — AI) det(C — Ad). 
8.10 $ u 是 矩阵 4 REE A 对 应 的 一 个 特征 向 基 。 
(1) 证 明 u 是 矩阵 A 一 3 了 的 一 个 特征 向 量 。 
(2) WE u 是 矩阵 A? - 44 + 3 了 的 一 个 特征 向 量 。 
8.11 236) 4 


-2 4 3 
A=| 000|, f(z)=2%— 27 
1 5 2 


证 明 
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8.12 236 假定 coal oz,… 为 正 整数 序列 , 并 且 满 足 递 推 关系 apy, = 0,420, iv 
> 1。 若 o=0 al = 1 Ral. (提示 : 建立 向 量 [ae] 5 [e] 之 间 的 关系 ， 并 运 
用 Cayley-Hamilton 定理 。) 

8.13 已 知 矩 阵 


R et, 
8.14 [20 已 知 矩阵 


求 非 奇异 矩阵 S 使 相似 矩阵 B= STAS AA. 
8.15 证 明 ; 满足 A? — A= 27 HOMIE A,,,, 是 可 对 角 化 的 。 
8.16 BR u=[1,1,-1]7 是 矩阵 


的 一 个 特征 向 量 。 

(1) R a,b 和 特征 向 量 u 对 应 的 特征 值 。 

(2) 矩阵 A BEATA Pd Aa Re? 试 说 明理 由 。 

8.17 证 明 : 矩阵 4 和 B 的 Kronecker 积 AS B 的 非 零 特 征 值 等 于 A 的 特征 值 
与 B 的 特征 值 的 乘积 , 即 X4G@ B) = 和 (4)A(B)。 

8.18 $ AA BH Hermitian HM, 并 且 A, 和 u; 分 别 是 矩阵 A 和 B 的 特征 
值 。 证 明 ; 车 A+B RARE càite 其 中 , ce 为 任意 标量 , 则 AB = BA. 

8.19 证 明 : # A,B,C 正定 , 则 14X? + BAL Cl = 0 的 根 具 有 负 的 实 部 。 

8.20 4 P,Q,R,X A2x 2M. WE: 矩阵 方程 PX?+QX+R=0 (SHH) 
HO X 的 每 一 个 特征 值 都 是 |PX? + QA+ CI= 0 的 根 。 


8.21 令 “pao pr 
a-[oi) afd 


若 定义 矩阵 束 (A, B) 的 广义 特征 值 (a, 6) 是 满足 det(84 一 aB) = 0 的 数值 a 和 6, 试 
R a Al Bo 

8.22 [397,9.286| SMe (A, B) 的 三 义 特征 值 (o, 6) 如 上 题 所 定义 。 令 和 = (a, A) 
和 入 =(0,,8,) 是 矩阵 束 (A, B) MITA) XERME, 并 且 ww 是 与 广义 特征 值 入 对 
应 的 右 广义 特征 向 量 ， 而 wy 是 与 X 对 应 的 左 广义 特征 向 量 , 证 明 


(Au; w;) = (Bu,,w,;) =0 
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8.23 SH G 是 A W SURER, 并且 AM GA RENERE. 证 明 A MTE 
零 特 征 值 的 倒数 是 广义 逆 矩 阵 G 的 一 个 特征 值 。 

8.24 60:226] 令 A 是 一 个 nxn RERE, 其 特征 值 为 入 ,和 Az,… Age 证 明 A WIE 
PER, 当 昌 仅 当 下 列 条 件 之 一 成 立 : 

(1) AAF 的 特征 值 为 [Xi]2,|X212,… Al 

(2) A+ AM 的 特征 值 为 Ni + AE, Ag + AS, An + ARS 

8.25 ”利用 特征 方程 证 明 : 若 A 二 矩阵 A 的 特征 值 , 旭 4 + 4-! 的 特征 值 等 于 或 
大 于 2。 

8.26 SKE A, 满足 AAT = 27， 且 |4| < 0,， 求 件 随和 矩阵 adj(4) 的 一 个 特 
征 值 。 

8.27 设 Ayxs 满足 条 件 381 + A| =0, AAT = 27 和 |4| <0. 求 矩阵 A 的 伴随 算 
BE adj(A) = det(A) A~! 的 一 个 特征 值 。 

8.28 证 明 二 次 型 f = zT4z 在 lal = 1 时 的 最 大 值 等 于 对 称 和 矩阵 4 的 最 大 特征 
值 。 (提示 : 将 /化 为 标准 二 次 型 。) 

8.29 证 明 : 车 和 是 矩阵 AB 的 一 个 特征 值 , 则 它 也 是 矩阵 BA 的 特征 值 (4,B 不 
一 定 为 正方 矩阵 , 但 AB 和 BA 分 别 是 正方 的 )。 

8.30 $ Any, 为 对 称 矩 阵 ， 其 特征 值 为 xz = 1,2,… ,m。 证 明 


Sew - da 
k=1 


31 j=1 


8.31 设 Anxn 的 全 部 特征 值 为 入 ,和 2,… An 且 与 X 对 应 的 特征 向 量 为 u; OR 
(2) PHAP 的 特征 值 与 相对 应 的 特征 向 量 。 

(2) (PUAP) 的 特征 值 与 相对 应 的 特征 向 量 。 

8.32 nxn Hh A= {az}, 其 中 


a t= 

a f: p 
求 4 的 特征 值 及 特征 向 量 。 

8.33 $ p(z) = a 十 4a1z 十 … 十 an2? 为 一 多 项 式 。 证 明 : HS 4 的 特征 向 量 一 定 
是 矩阵 多 项 式 p(4) 的 特征 向 量 , 但 p(A) 的 特征 向 量 不 一 定 是 A 的 特征 向 量 。 

8.34 令 4 为 实 斜 对 称 和 矩阵 ， 即 其 元 素 ai = 一 Qj 证明; 

(1) A 的 特征 值 为 纯 虚 数 或 零 。 

(2) Hutjv 是 与 特征 值 jp (其 中 , js 十 非 零 的 实数 ) 对 应 的 特征 向 量 , FA uM v 
为 实 向 量 , Wu Fv 正 交 。 

8.35 $ 4 是 一 个 正 交 矩阵 ，》 是 4 的 一 个 不 等 于 +1, 但 其 模 为 1 的 特征 值 ， 并 
B tw 十 jv 是 与 该 特征 值 对 应 的 特征 向 量 , 其 中 , u 和 w 为 实 向 量 。 证 明 u 和 vw 正 交 。 

8.36 一 滤波 器 的 抽 头 延迟 线 的 输出 由 


y(k) = aT x(k) 


习题 583 


给 出 , 式 中 
a = [ooc von 
æ(k) = [2(ke), a(k — 1),--+ ,zk = n)]T 
$ 
R, © Efex} = QUQT 
式 中 


E = diag(Xo A s Àn) 
如 时 输出 序列 fy( 且 } 的 均 方 值 为 
Jn = SELF 
证 明 以 下 两 个 结论 : 
Q) 在 条 件 ara 一 1 的 约 来 下, 使 最 小 化 等 价 于 


J, -ISu 
” 25 n 


的 最 小 化 ， 其 中 


n 
w= [wow Wal”, Dwn 


i=0 


且 w= QTa。 
(2) 车 取 w = [十 1,0,… ,0]T, 则 使 J 最 小 化 的 最 优 向 量 a= ap HF, ag 是 矩阵 


五。 相对 于 最 小 特征 值 Xo 的 特征 向 基 。 
8.37 证 明 : 一 个 nxn 实 对 称 和 矩阵 A 可 以 写作 


A= Av 
i=] 


Ah, A 是 A 的 特征 值 ; @; 为 非 负 定 甜 阵 ， 并 午 不 仅 满 足 正 交 条 件 


Q,Q;=O0, tAj 
TO HIRE SIEM, 即 Q? = Qi EE A 的 这 一 表示 称 为 4 的 谱 分 解 BS psa, 
8.38 已 知 
3 一 1 0 
A=|0 5 -2 
0 0 9 
求 非 奇 异 矩 阵 S 使 得 相似 变换 STAS = B 为 对 角 撼 阵 ， 并 求 对 角 和 矩阵 B. 
8.39 TAER 
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有 三 个 线性 无 关 的 特征 向 量 , 求 x 和 y 应 该 满足 的 条 件 。 
8.40 设 
1 -1 
a-f z] 


试 通过 求 矩阵 S48 SAS = D (AERE), 证 明 A 是 可 对 角 化 的 。 

8.41 证 明 下 列 结论 : 

(车 anyao，… up 大 矩阵 Anyen 与 同一 特征 值 对 应 的 特征 向 量 , 则 ww, eg, ,ap 
的 任意 一 个 线性 组 合 也 是 4 的 属于 特征 值 和 的 特征 向 量 。 

(2) 若 thy, tg, Uy 是 矩阵 Anxa 与 不 同 特征 值 Ai, Ags: Ap 对 应 的 特征 向 量 , 则 
当 elea e 中 至 少 有 两 个 不 为 零 时 ，cltw 十 catz 十 十 epu, 必定 不 是 A 的 特征 
向 量 。 

8.42 ” 没 三 阶 实 对 称 矩 阵 A 的 特征 值 为 和 = 1, 和 2 = L) = -2, HS A, 对 应 的 
特征 向 量 为 wl = [0,1 1]T,， 求 矩阵 A 的 表达 式 。 


8.43 ”已 知 和 矩阵 
1 -1 1 
A=| z 4y 
. -3 -3 5 


有 三 个 线性 无 关 的 特征 向 量 ， 匡 = 2 是 AM -EREB SRM P, E 
PAP AXA. 

8.44 设 向 量 a = fo,,0,---,0,/7 和 8 = Bobo pa 是 两 个 正 交 的 非 零 向 
量 。 若 令 4 = aGT, BR 

(2) A’: 

(2) 矩阵 4 的 特征 值 和 特征 向 量 。 

8.45 ”已 知 矩阵 


> 

Il 
ror 
one 
on 


H B= (kI +A)}?, 其 中 ,为 实数 。 
(1) RER B 的 对 角 化 矩阵 A. 
(2) 试问 : k 为 何 值 时 , ERE B 是 正定 的 ? 


8.46 设 
a -1 c 
Id=| 5 è 3|=-1 
1-ec 0 -a 


又 A 的 伴随 矩阵 adj(4) = [AA 有 一 个 特征 值 为 ， 与 之 对 应 的 特征 向 量 w = 
[-1,-1,i]T. R a,b,c 和 X 的 值 。 
8.47 RERE 


习题 


的 正 交 基 。 

8.48 求解/ 义 特征 值 问 题 As = ABa 时 , JEM B 必须 是 非 奇异 的 。 现 在 假定 B 
奇异 , 其 广义 逆 算 阵 为 Bt, 

(1) 令 A,x) 是 矩阵 BUA 的 一 个 特征 对 。 证 明 , 该 特征 对 是 矩阵 束 (A, B) 的 一 个 广 
义 特征 对 , 若 As 是 矩阵 B1B 与 特征 值 1 对 应 的 特征 向 量 。 _ 

(2) 令 Ne 满足 hz = ABe. 证 明 : 若 x 也 是 矩阵 BiB 与 特征 值 1 对 应 的 特征 向 
量 , 则 Oe) 是 矩阵 B14 的 一 个 特征 对 。 

8.49 令 矩 阵 束 (A,B) 与 广义 特征 值 和 对 应 的 右 特征 向 量 为 ws ARER 
vp FH (Bu,, Bu,) = 1. 试 证 明 : 矩阵 点 (A, B) 和 

A,=A-—o,Buv' BY, B=B-o Au, Be 

具有 相同 的 左 和 右 特征 向 量 。 式 中 , 假定 移 位 因子 o, 和 o, 满足 条 件 1 00 £0. 

8.50 ”考虑 无 线 通 信 中 的 一 个 码 分 多 址 (CDMA) 系统 ， 它 共有 K 个 用 户 ol。 其 
中 , AP 1 为 期 望 用 户 。 一 接收 机 接收 所 有 K 个 用 户 发 射 的 信号 ,其 接收 信号 的 向 量 形 
式 由 下 式 给 出 : 


K 
y(n) = X weln) = hwi (n) + Hiw(n) + v(m) 
k=1 


式 中 ,wi(n) 是 期 望 用 户 发 射 的 比特 信号 ， 它 是 我 们 希望 检测 的 ; hl 是 期 望 用 户 的 等 价 
特征 波形 向 量 , CECU: 而 下 和 wa) 分 别 为 所 有 其 他 用 户 (简称 干扰 用 户 ) 的 特征 
波形 向 量 组 成 的 矩阵 和 于 拢 比特 向 量 。 假定 信道 的 加 性 噪声 为 高 斯 白 噪 卢 ， 各 个 噪声 分 
量 的 均值 都 等 于 零 , 方差 均 为 o?。 

(1) 设计 一 最 小 方差 接收 机 了 ,使 得 接收 机 输出 


b(n) = fyn) 
能 够 在 满足 约 来 条 件 
fHhy =1 


的 同时 , 与 wi(n) 之 间 的 均 方 误差 为 最 小 。 求 最 小 方差 接收 机 的 表达 式 。 
(2) 车 期 望 用 户 的 等 价 特征 波形 向 量 各 为 


hy = Cig 
式 中 
cf0) 0 
91(0) 
C, = |e (P - 1) al) |, n=] : | 
alL) 
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这 里 ，c1(0),c1(1),… ,ce1(P 一 1) 是 期 望 用 户 的 扩 频 码 ， 而 al) 代表 第 ! 条 传输 路 径 
的 参数 。 试 设计 一 最 小 方差 无 畸变 (MVDR) 波束 形成 器 g， 并 证 明 它 恰好 是 矩阵 束 
(CEFR,C1, ORC,) 与 最 小 广义 特征 值 对 应 的 上 义 特 征 向 量 。 


8.51 假定 
O Ally =A B, Olly 
[ár 3l l] ““'O B,jiz 
sth, Ac R™",B, € R™™, B, c RO”. 假定 矩阵 B, 和 B, 正定 ， 并 划分 别 具 有 
Cholesky 三 角 因 子 G, 和 Ga。 将 上 式 描述 的 广义 特征 值 问题 与 GT14G57T 联系 起 来 。 
8.52 EIERE 


20 = wa(t) + Oy(t) + 02(2) 
wu) = Ox(t) + wy(t} + z(t) 
dz(t) 


at Ox(t) + y(t) + wait) 


求 三 阶 和 矩阵 微分 方程 


BOE) + co O"(t) +e, H(t) + P(t) =O 


满足 初始 条 件 
#(0)=1, 8(0)=A, $0) =A? 


的 解 D(t). 
8.53 Æ M,C, K 对称 和 正定 , 证 明 


XM+AC+K|I=0 


的 根 有 负 的 实 部 。 
8.54 已 知 mx m 和 矩阵 


证 明 


a Qin 
pr-al=[] (9-2-2005) 


i=1 
8.55 ”假定 n xn 维 Hermitian 矩阵 A 的 特征 值 按照 顺序 à (A) > àA) >o 之 
An(A) 排列 。 用 Rayleigh 商 证 明 : 
(1) à (A + B) > AN(A)+ AB). 
(2) 车 A,B 正定 , WA,(A +.B) > AnlA) + An(B)> 
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8.56 利用 Rayleigh 商 证 明 : 对 于 任何 一 个 n x n 对 称 和 矩阵 A 和 任何 一 个 nxn 半 
正定 矩阵 B, 特征 值 服从 不 等 式 


M(A+B) 2 A(A), k=1,2.,n 


ABLE, 则 


MlA +B) >A (A), k=12,.,n 
8.57 $ ARIB IIE n xn IREE, 证 明 


A (A+ B) > à (A) +A(B) 


An{A + B) < àn(A) + An(B) 
8.58 $ ALE—h nxn SER (不 一 定 对 称 )。 证 明 对 任意 nx1 向 量 e, 恒 有 不 等 式 
(a7 Aa)? < (xT AAT2)(2T x) 


1/2 
XT(A+ A oe eTAAte\ YY 
~oa S| an 


ala 


1 
2 
8.59 ”考虑 对 称 短 阵 序列 
A =la bi 
EP, r= 1,2,---,no 令 和 (4,), 151,2, ,r EIERE A, 的 第 i 个 特征 值 , 并 且 
A\(A,) > NMA) > 2 AA,) 
则 
Arrr (Aiti) < MA) S Al Aia) 
_ 这 一 结果 称 为 Sturmian 分 离 定 理 Born, RAE Rayleigh 商 证 明 这 一 定理 。 


8.60 证 明 式 (8.11.1) 是 双 曲 线 一 次 特征 值 问题 ， 当 且 仅 当 QO) 对 所 有 实 特 征 值 


ACR AR. 
8.61 ”对 于 两 个 相同 维 数 的 任意 正方 矩阵 A, B, 证 明 


(1) {AAT + BB") ~(A+ BXA + B)? 半 正 定 。 

(2) tr[(A + B)(A + B)"] < 2[tr(AA™) + tr(BB™)]. 

(3) AA + B)(A + B)T] < 2[\(4A™) + A(BB™)}. 

8.62 $ & 和 召 是 两 个 维 数 相同 的 半 正 定 和 矩阵 ,证 明 190,1829] 


Ve(AB) < lta) + tr(B)] 
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FERL, HARY A= B Al rank(A) <1. 
8.63 ”对 于 多 项 式 plz) =r” +a”! +- tat tap Kn xn He 


0 1 0 IB. 0 
0 0 l oe 0 
Co=l i i bo 
0 0 0 ooe 1 
ag TO Ag Oy 


为 多 项 式 p(x) RER. 利 几 数学 归纳 法 证 明 ; 对 于 n > 2, EA 
det(Cp — AE) = (—1)"(ag + aA +: -+ ap APTE 4 A?) = (Up 

8.64 $ p(z) = 1 +a? +0,2+4) IEH A ELR p(x) 的 一 个 零点 。 

0) 写 出 多 项 式 p(z) HAE Cpo 

(2) 解释 为 什么 A3 = -aa 入 一 ai 一 ao, 并 证 明 (1, 和 ,和 2) 是 多 项 式 pie) 的 友和 矩阵 Cp 
的 特 社 值 。 

8.65 Bi $ A,B Ñ A-B APERE. WEH: Bt 一 At 是 半 正 定 的 , 当 且 仅 
当 rank(A) = rank(B). 

8.66 $ 4 十 一 个 nxn 矩阵 (不 一 定 对 称 )。 证 明 : 对 于 每 一 个 mxl 向 量 =, 恒 有 


(aT Az)? < (zT44Tz)(eTz) 
1 


< (54) K 
2 Xz 
8.67 ”证 明 : 对 于 任何 一 个 nxn HIRERE A 和 任何 一 个 半 正 定 矩 阵 B, 恒 有 特征 
值 不 等 式 


因此 有 
zT(A +AT)æ 
ala 


NA+ B)2,(A), k=l,2, on 
并 生 车 B EZ, WA 
A(AtB)>%(A) k=l,2, 1 


GER: 利用 Rayleigh 商 的 极 大 - 极 小 原理 . ) 
8.68 26 G A nxn ERER, 其 特征 值 0< 入 < 和 <.… < Xn。 证 明 : 和 矩阵 


(CE -A = rA) AT! 
YEE. HARK <n 一 2。 (提示 : AH x? -— (a+b) + abs 0, Vz € [a,b ) 
8.692 G 4 是 一 个 nxn ERER, 其 特征 值 <A <a <… < 和 n。 利用 上 
一 习题 证 明 


T Tan (Ar + An) 
1< (a? Ar)(r A zr) < AM An 


对 所 有 满足 ele = 1 的 实 向 量 e 成 立 。 这 一 不 等 式 称 为 Kantorovich 不 等 式 P44, 


第 9 章 ” 子 空间 分 析 与 跟踪 


在 涉及 逼近 、 最 优化 、 微 分 方程 、 道 信 、 信和 号 处 理 、 系 统 科 学 等 问题 中 , 子 空间 起 着 
非常 重要 的 作 内 。 向 基 子 空间 的 框架 可 以 帮助 我 们 回答 一 些 重要 问题 例如， 怎样 才 能 
对 复杂 郑 数 获得 一 个 好 的 多 项 式 逼 近 ? 如 何 求 微分 方程 好 的 逼近 解 ? 怎样 设计 一 个 更 好 
的 信号 处 理 器 ? 诸如 此 类 的 问题 实际 上 是 许多 工程 应 用 的 核心 问题 。 向 量子 空间 为 解雇 
这 些 问 题 担 供 了 一 类 有 效 的 方法 一 - 子 空间 方法 。 

本 章 将 围绕 子 空间 方法 , 讨论 子 空间 的 分 析 理论 , 介绍 子 空间 方法 的 一 些 上 典型 应 用 。 
在 很 多 比较 复杂 的 工程 问题 中 , 子 空间 是 时 变 的 , 而 我 们 又 需要 对 接收 信号 作 实 时 处 理 ， 
或 者 对 系统 进行 实时 控制 。 在 这 些 场合 , 需要 对 子 空间 进行 跟踪 。 因此 , 本 章 还 将 重点 讨 
论 如 何 对 子 空间 进行 跟踪 与 更 新 。 


9.1 子 空间 的 一 般 理 论 


在 具体 讨论 各 神子 空间 之 前 , 有 必要 先 介绍 子 空间 的 一 般 理 论 : 子 空间 的 基本 概念 、 
子 空间 之 间 的 代数 关系 和 几何 关系 等 。 


91.1 子 空间 的 基 


n 维 复 向 量 空间 Cn 是 所 有 n 维 复 向 量 的 集合 。 令 m < n, Wm n 维 复 向 量 的 子 
集合 便 构 成 Cm 内 的 一 个 向 量子 空间 。 更 具体 地 ， 有 下 面 的 数学 定义 。 

定义 9.1.1 HS = {utn e ,Wm} 是 向 量 空间 V 的 向 量子 集合 , W ttin ,um 
的 所 有 线性 组 合 的 集合 W 称 为 由 wi,w2,… ,am 张 成 的 子 空间 ,定义 为 


W = Spanfuayea Um} = (ui U = a + atg +--+ + On ttn} (9.1.1) 


张 成 子 空 间 W 的 每 个 向 量 称 为 W 的 生成 元 (generator), 而 所 有 生成 元 组 成 的 集合 
{ui Ug Un} 称 为 子 空间 的 张 成 集 (spanning set)。 一 个 只 包含 了 截 向 量 的 向 量子 空 
间 称 为 平凡 子 空间 (trivial subspace). 

定理 9.1.1 ( 张 成 集 定理 (spanning set theorem)) 274 pP.234 

令 5 = {wun tn} 是 向 量 空间 V 的 一 集合 , 并 且 W = Spanfaty tz, , Um} 
是 由 8 的 m 个 列 向 量 张 成 的 子 空间 。 
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( 如果 5 AHED EE (例如 ui) 是 其 他 向 其 的 线性 组 合 , 则 从 8 中 删 去 向 量 we, 
后 , 其 他 向 量 仍然 张 成 子 空 间 W. 
(2) Æ H # {0} 即 万 为 韭 平凡 子 空间 ， 则 在 S 内 一 定 存 在 某 个 由 线性 无 关 的 向 量 
组 成 的 子 集合 , 它 张 成 子 空间 W. 
证 明 (1) 由 于 子 空间 的 生成 只 与 张 成 集 的 向 量 有 关 , 与 它们 的 排列 顺序 无 关 , 故 不 
失 一 般 性 ， 可 以 假定 5 内 的 向 基 经 过 排列 ， 使 得 向 量 wm 是 wi, 42，,… ty 的 线性 组 


合 , 即 


Um = AU, + dota 十 十 Com lm 
He AFRI W WARAH, 则 对 合适 的 标量 c1,c2,… ,cm， 可 以 将 x 写作 


= CU + Ezta 十 Cm 1Um_ 1 Cm Un 


将 wm 的 线性 组 合 表 达 式 代入 上 式 , 容易 看 出 p 是 u, ty, Una 的 线性 组 合 。 因 此， 
在 删 去 um 后 ， 向 量子 集合 {unun ty} 仍然 张 成 子 空间 W, 因为 x BW 的 一 
任意 元 素 。 
(2) OR 5 内 仍然 存在 与 其 他 向 量 线性 相关 的 向 量 ， 则 可 以 继续 删 太 该 向 量 ， 一 直 
到 删 去 所 有 与 其 他 向 量 线性 相关 的 向 量 为 止 。 然 而 , 由 于 AA {0}, 所 以 在 5 内 至 少 会 
镜 卜 一 个 非 零 向 量 不 至 十 被 删 去 。 换 言 之, 张 成 集 一 定 存在 。 a 
假定 从 向 量 和 集合 5 = {utun i un) 中 删 去 与 其 他 向 量 线性 相关 的 所 有 多 余 向 量 
后 , RIF p 个 线性 无 关 的 向 量 {uun ,ap}， 它 们 仍然 张 成 子 空间 W。 和 在 张 成 同一 
子 空间 W 的 意义 上 , 称 {uu up} 和 {ay tg, y tim} 为 等 价 张 成 集 (equivalent 
spanning sets)。 由 此 可 引出 子 空间 的 基 的 概念 。 
定义 9.1.2 $ W 是 一 向 量子 空间 。 向量 集合 {u un ,4p} 称 为 W 的 一 组 基 ， 
若 下 列 两 个 条 件 满 足 : 
(1) 子 空间 W 由 向 量 ue, wa, … ,azp SEAR, BD 


吾 一 Span{faly az Up} 


(2) 向 量 集 合 B = {uun i ,up} 是 一 线性 无 关 的 集合 。 
定理 9.1.1 的 (1) 给 出 了 从 子 空间 W 的 张 成 集 5 构造 W 的 基 的 原则 : 删 去 所 有 与 
其 他 向 量 线性 有 关 的 向 量 ; 定理 的 (2) 则 保证 了 非 平凡 子 空间 W 的 基 的 存在 性 。 
关于 子 空间 的 基 , 有 以 下 两 点 重要 的 观察 : 
(1) 当 使 用 张 成 集 定理 从 向 重 集合 3 中 删 去 向 量 时 ， 一 旦 5 变 成 线性 无 关 向 量 的 
合 , 则 必须 立即 停 下 从 8 内 再 删除 向 量 。 如 果 删 去 不 是 其 他 剩余 向 量 的 线性 

组 合 的 额外 向 其 , 则 较 小 的 向 量 集合 将 不 再 张 成 子 空间 We 因此 , 子 空间 的 一 
组 基 是 一 个 尽 可 能 小 的 张 成 集 。 换 句 话说， 张 成 子 空 间 W 的 基 商 最 ~ 个 也 不 
能 少 。 
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(2) 一 -组 基 也 是 线性 无 关 向 量 的 尽 可 能 大 的 集合 。 令 5 是 子 空间 W 的 一 组 基 ， 如 
FATEH WAL 给 5 再 扩大 -个 向 量 (例如 由)， 则 新 的 向 量 集 合 不 可 能 是 
线性 无 关 的 ， 因 为 SMT W, FH W 内 的 向 量 w 本 身 就 是 5 内 各 个 
元 素 即 向 量 的 线性 组 合 。 在 这 个 意义 上 讲 ， 张 成 子 空间 W 的 基 向 其 一 个 也 个 
能 多 。 

需要 注意 的 是 , 提 及 某 个 向 其 子 空间 的 基 时 , 并 十 说 它 是 唯一 的 基 , 而 只 在 强调 它 是 

其 中 的 一 组 基 。 虽 然 一 个 向 量子 空间 的 基 可 能 有 多 种 选择 ， 但 所 存 的 基 都 必定 含有 相同 
数 日 的 线性 无 关 向 量 , 否则 有 较 多 向 量 的 张 成 集合 就 不 是 基本 的 , 不 能 算 作 一 组 基 。 从 这 
一 讨论 中 , 很 容易 引出 子 空间 的 维 数 的 概念 。 

定义 9.1.3 PEM W 的 任何 一 组 基 的 向 量 个 数 称 为 W 的 维 数 ， 用 符号 dim(W) 

表示 。 若 W 的 任何 一 组 基 都 不 是 由 有 限 个 线性 无 关 的 向 基 组 成 时 ， 则 称 W 是 无 限 维 向 
量子 空间 (infinite-dimensional vector subspace). 
由 于 任何 一 个 零 向 量 都 与 其 他 向 基线 性 相关 ， 所 以 不 失 一 - 般 人 性 ,通常 假定 在 子 空间 
的 张 成 集合 中 不 含 零 向 基 。 

对 于 给 定 的 张 成 集合 {unuz unh BABE AE Spen{wi, Wo,… ,un} 的 
一 组 基 , 详 见 9.2 节 的 讨论 。 

给 向 量子 空间 W 规定 一 组 基 的 一 个 重要 原因 是 : 能 够 为 子 空间 Y 提供 一 坐标 系 。 
F 面 的 定理 说 明了 坐标 系 的 存在 性 。 

定理 9.1.2 $ B= {bpb ,bn} bn 维 向 量子 空间 W 的 一 组 基 , 则 对 于 Y 中 
的 任何 一 个 向 量 =， 都 存在 一 组 唯一 的 标量 cl ca,… ,cn， 使 得 = 可 以 表示 为 


æ = eb) + egba +--+ + 6,5, (9.1.2) 


证 明 2747240) 由 于 基 B 张 成 子 空间 W, 所 以 该 子 空间 的 任何 一 全 向 量 都 可 以 表 
示 为 这 些 基 向 量 的 线性 组 合 ， 即 式 (9.1.2) RE. 假定 x 存在 另外 一 种 表示 


w= db, + dab t+ db 


则 有 
Ow -a = (e — di)by + (c2 — dy }bg t+ (Cn ~ bn) On 


因为 B 的 向 量 bbn o ,b 线性 无 关 , 故 上 式 成 立 的 条 件 是 G = di,i = 1,2,--+ mo 这 
就 证 明了 式 (9.1.2) 的 唯一 性 。 图 
上 述 定理 称 为 子 空间 向 量 的 唯一 表示 定理 。 系数 ec，…… ,cn 的 唯一 性 ,使 得 可 以 
利用 它们 构成 子 空间 W 表示 的 n 个 坐标 ， 从 而 组 成 子 空间 的 坐标 系 。 
定义 9.1.4 假定 集合 = {bbn bn} 是 维 向 量子 空间 WwW 的 一 组 基 , FH we 
W, 则 将 z 与 基 召 联系 起 来 的 坐标 ( 称 为 z 的 B 坐标 ) 是 满足 = = cb tebot tenba 
的 权 系 数 cj, co,… ,cn。 
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F c1,c2，… ,cn 是 向 量 = 的 BABE, 则 称 
a 
[z]; = ° (9.1.3) 


En, 


Æ æ 的 坐标 向 量 (coordinate vector). 
9.1.2 ”无 交 连 、 正 交 与 正 交 补 


在 子 空间 分 析 中 , 两 个 千 空 间 之 间 的 关系 由 这 两 个 后 空间 的 元 素 ( 即 向 量 ) 之 间 的 关 
系 刻画 。 下 面 讨论 子 空间 之 间 的 代数 关系 。 
子 空间 51,5,,… ,Sn 的 交 


5S=5N5N...N8, (9.1.4) 


是 子 空间 S,,5,---,5, 共同 拥有 的 所 有 向 量 组 成 的 集合 。 着 这 些 子 空间 共同 的 唯一 向 量 
为 零 向 量 , 即 5 = S ASNN S, = {0}, 则 称 子 空间 Si, 5,,… Sa 无 交 连 (disjoint). 
无 交 连 的 子 空间 的 交 5 = 5, n 8 mn 5, WA FFRAM, 记 作 


S=5 BPD DSa (9.1.5) 


此 时 ， 每 一 个 向 量 > e 5 具有 唯一 的 分 解 表示 = = a, tart tan HP, a; € Sio 
若 一 向 量 与 子 空间 9 的 所 有 向 量 都 正 交 ， 则 称 该 向 基 正 交 于 子 空间 38。 推 而 广 之 ， 
称 子 空间 31, So Sn 为 正 交 子 空间 , 记 作 S, 1 S,, iA j E Va, € Spa; € 5; GAY), 
EA as 上 @jo 
特别 地 , 与 子 空间 5 正 交 的 所 有 向 量 的 集合 组 成 一 个 向 量子 空间 , 称 为 5 的 正 交 补 


(orthogonal complement) 空间 , 记 作 S1. 具体 而 言 , 令 5 为 一 向 量 空间 ， 则 称 向 量 空间 
S1 为 3 的 正 交 补 , 车 


St ={alaTy=0, vyes} (9.1.6) 


FAR S 和 它 的 正 交 补 8+ 的 维 数 满足 关系 式 


dim(S) + dim(S+) = dim(V) (9.1.7) 


顾名思义 , 子 空间 S 在 向 量 空间 V 的 正 交 补 空间 St 含有 正 交 和 补充 双重 涵义 : 
(1) 子 空间 s+ 与 5 TER: 
(2) 向 量 空间 V 直子 空间 5 与 5+ 的 直 和 , EDV = 3@ 3+。 这 表明 , 向量 空间 V 
是 由 子 空间 8 补充 St 而 成 。 
下 面 是 无 交 连 子 空间 、 正 交 子 空间 和 正 交 补 空间 的 关系 。 
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(1) 无 交 连 是 比 正 交 更 器 的 条 件 , 这 是 因为 : 两 个 子 空间 无 交 连 , 只 是 表明 这 两 个 子 
空间 没有 任何 一 对 眉 零 的 共同 向 量 ， 并 不 意味 着 这 两 个 向 量 之 间 的 任何 其 他 关 
Ro ZAR, HTAR S, Al S, 正 交 时 , 任意 两 个 向 量 me 3 和 ye 5, 都 
是 正 交 的 , 它们 之 间 没 有 任何 相关 的 部 分 , 即 S 和 S, 一 定 古 无 交 连 的 。 因 此 ， 
无 交 连 的 两 个 子 空间 不 一 定 正 交 , 但 正 交 的 两 信子 空 间 必定 是 无 交 连 的 。 
(2) 正 交 补 空间 是 一 个 比 正 交 子 空间 更 严格 的 概念 : 子 空间 8 在 向 量 空间 Y 的 正 
交 补 $+ 一 定 与 8 正 交 , 但 与 S 正 交 的 子 空间 一 般 不 是 S 的 正 交 补 。 例 如 ， 
向 量 空间 V 内 可 能 会 有 多 个 子 空间 5;, S2 ,9 都 与 子 空间 S IER, AB 
aly =0,Y wi E€ Spi = 1,2,… ,p; y ES. 因此, 不 能 说 其 中 的 某 个 正 交 子 空间 
S, 是 5 的 正 交 补 。 由 于 向 量 空间 Y 是 由 它 的 子 空间 8 与 正 交 补 S+ 补充 而 成 ， 
所 以 当 向 量 空间 V 和 子 空间 5 给 定之 后 , 正 交 补 S 便 是 唯一 确定 的 。 
特别 地 ， 向量 空间 Rm 的 每 一 个 向 量 u 都 可 以 用 唯一 的 方式 分 解 为 子 空 间 8 的 向 
量 z 与 正 交 补 51 的 向 量 y 之 和 , 即 


usety, «ely (9.1.8), 


这 一 分 解 形式 称 为 向 量 的 正 交 分 解 。 向 量 的 正 交 分 解 硅 信和 号 处 理 、 模 式 识别 、 自 动 控 制 、 
系统 科学 等 学 科 中 有 着 广泛 的 应 用 。 
例 9.1.1 少数 ult) 称 为 严格 平方 可 积分 函数 ， 记 作 ult) e LR), 车 


æ 
f 1u(t)|Pat < oo 
-= 


在 小 波 分 析 中 ， 通 常 使 用 多 个 分 辩 率 对 平方 可 积分 函数 或 信和 号 w(t) & (R) 进行 通 近 ， 
称 为 兽 数 或 信号 的 多 分 辩 率 分 析 。 在 多 分 状 素 分 析 中 ， 需 要 构造 LR) 空间 内 的 一 个 子 
空间 列 或 链 {VW : j E 2]}， 使 它 具有 一 些 所 期 望 的 性 质 。 其 中 , 这 个 子 空间 列 必须 具有 包 
容 性 : 
CVA CVC hcc 
根据 这 一 包容 性 知 ， 号 是 Vp 的 子 空间 。 因 此 , 一 定 存在 V 的 正 交 补 W, 使 得 
Vie =) OW, 


AH, V 和 Wi 分 别称 为 分 辩 率 为 2 ; 情况 下 的 尺度 子 空间 和 小 波 子 空间 。 满 足 上 述 条 
件 的 多 分 辩 率 分 析 称 为 正 交 多 分 辩 率 分 析 。 
满足 关系 式 
{0} CS CHC CS, 
的 子 空间 集 {S Sa, Sm) 称 为 子 空间 套 。 
一 个 特征 向 量 定义 一 个 一 维 子 空间 , CHARTERE 4 是 不 变 的 。 更 一 般 地 ,有 
不 变 子 空间 (invariant subspace) 的 下 述 定义 nsd 。 
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定义 9.1.5 一 个 子 空间 SCO" RA (相对 于 ) 4 不 变 的 , 车 
weS 全 Ares 


例 9.1.2 令 nxn (PRATER AR) 矩阵 A 的 特征 向 量 为 utgi ,was HS = 
Span{ty, tg, tnj 则 由 于 Au, = 和 tsi = 1,2,… me R 


UES > Au, eS, i=1,2,---,n 


这 表明 ,由 4 的 特征 向 量 张 成 的 子 空间 3 是 相对 于 4 不 变 的 子 空间 。 
对 nxn 矩阵 4 的 任意 一 个 特征 值 和 ， 子 空间 Null(4 一 XI) 是 相对 于 4 不 变 的 子 
空间 , 内 为 . 


we Null(A—AD) > (A ADu =0 = Au = MeNull(4— M) 


FEM) Null(4 一 AI) 称 为 矩阵 A 与 特征 值 A 对 应 的 的 特征 空间 (eigenspace)。 
Q AEC, BEC, X e0, IH X = fbzy zh MAX = 四 如 的 
第 了 列 为 
biyT11 十 boyT12 十 十 加 TI 


bajtar + boyT22 十 十 bys Tax 
Az. | 3 422 j 


i : 
bitni + Baytna 十 -十 各 nk 
= by jh + bajo +++ + 了 
因此 , #4 S =Span{a,,2,---,2,}+ 则 
Axj ES, j=1,2,---,k 
言 之 , PER 5 = Span{z1,w2,… ,wk} 是 相对 于 4 不 变 的 子 空间 , 若 
AX=XB, Acc™, Be ok, X ecrxk (9.1.9) 
此 时 , # X 具有 满 列 秩 , 并 且 (Au) 是 矩阵 B MRE, BP Bw = Au, METAR 
时 左 乘 满 列 秩 和 矩阵 X, MTA 
Bu=d\u > XBu=d\Xu > A(Xu) = (Xu) (9.1.10) 
即 MB) © MA), 等 号 成 立 , 当 且 仅 当 X 为 正方 的 非 奇异 矩阵 时 。 就 是 说 , 若 IE 
SEB, 则 B= X-1AX 是 4 的 相似 矩阵 ， 并 且 A(B) = (A). 这 就 从 不 变 子 空间 的 角 


E, 又 一 次 证 明了 两 个 相似 矩阵 具有 相同 的 特征 值 ， 但 它们 的 特征 向 量 可 能 不 同 。 
不 变 子 空间 的 概念 在 利用 子 空间 选 代 跟踪 和 更 新 大 的 稀 朴 所 阵 的 特征 值 时 ,起 着 重 


要 的 作用 。 
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9.1.3 ”于 空间 的 正 交 投影 与 夹 角 


关于 子 空间 之 间 的 几何 关系 , 我 们 会 问 , 沿 着 某 个 子 空间 , 到 另 -个 子 空间 的 找 影 如 
何 描述 ? 两 个 子 空间 之 则 的 距离 和 夹 角 又 是 如 何 定义 的 ? 

1.， 子 空间 的 正 交 投影 

Frer, ÝE SH HRD PLE, De, 希望 使 用 一 线性 矩阵 变换 P, 将 Re 
的 向 量 > 映射 为 子 空间 5 的 向 量 zl。 这 样 一 种 线性 变换 称 为 沿 着 H 的 方向 到 5 的 投 
BAS (projector onto S along 五 )， 常 用 符号 Psin 表示 。 若 子 空间 H 十 9 的 正 交 补 ， 
则 Posa 是 将 RAE > 沿 着 与 子 空 间 5 垂直 的 方向 ， 到 子 空间 3 的 投影 , 改称 
Pasis 为 到 子 空间 5 的 正 交 投影 ， 常 用 Ps 作 数学 符号 。 

定义 9.1.6[184P75 矩阵 P e CX" ARATE S 的 正 交 投影 算 子 , 若 Range(P) 
=5,P?=P Al P" =P. 

对 上 述 定义 的 三 个 条 件 加 以 解读 ,可 以 得 到 以 下 结果 : 

(1) Ath Range(P) = 8 意味 着 P 的 列 空间 必须 等 丁子 空间 5。 BFE 5 是 矩阵 
Amyn 的 nn 个 列 向 量 张 成 的 子 空间 , 即 3 = Span(A), 则 Range(P) = Span(A) = 
Range(4)。 这 意味 着 , WIER A 向 子 空间 S 作 正 交 投影 则 其 结果 PAY 
RAT BSE A, MA PA= 4。 

(2) 条 件 P = P 意味 着 正 交 投影 算 子 必须 是 等 等 算 子 。 

(3) 条 件 Pa = PP 表明, 正 交 投 影 算 子 必须 具有 复 共和 对 称 性 即 Hermitian 性 。 

应 当 注意 的 起 ,在 有 些 文献 中 ,一 般 定义 具有 Hermitian (EERE A ERY 
算 子 ， 是 因为 并 没有 强调 它 是 到 哪 一 个 子 空间 的 正 交 投影 算 子 。 当 我 们 需要 刻意 强调 是 
到 子 空间 3 的 正 交 投影 算 子 时 ， 就 必须 加 上 Range(P) = 3 这 一 条 件 。 换 言 之 , 即使 一 
AYERS LIE EHEM Hermitian 性， 但 若 其 列 空间 与 子 空间 5 不 一 致 ， 它 便 不 是 到 子 
空间 S 的 正 交 投影 算 了 ,而 可 能 赴 到 另外 茶 个 子 空间 的 正 交 投影 算 子 。 

根据 正 交 投影 算 子 的 定义 知 , Be eR, WH Pres H(I- Pje esh 

Ge P 和 P 都 是 到 子 空间 5 的 正 交 投影 算 子 , 则 对 于 任意 一 个 向 量 eR 有 
下 列 结果 : 


IKP, — P2)a|3 = (Pie — P22)" (Px — P32) 
= (Py)"(1 — Po)z + (Pep) (I — P,)e 
=0, Va 
这 是 因为 Pio 和 Plo 都 二 到 子 空间 5 的 正 交 投影 , 从 而 有 
=Pres, 2=(-P.)zest = yilz,=0 
Y= Pize5 2=(-P,eeS+ = yz=0 
由 于 ||(P, — Paal? = 0 对 所 有 非 零 向 量 s 成 立 ,， 故 Pl = Pa， 即 到 一 个 子 空间 的 正 交 
投影 算 子 是 唯一 确定 的 。 
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对 于 子 空间 S= Span(Amxn) 假定 m >n, ITH rank(A) =n. 观察 知 ， 线 性 变换 

HEE 
P; = A(ABA) AR (9.1.11) 

满足 正 交 投 影 算 子 定 义 的 每 等 性 和 Hermitian 性 。 另 方面, 由 于 PsA = A, m PS 
价 满足 Range( Pg) = Span(A) = So PAUL. R (9.1.11) 定义 的 线性 变换 算 子 Ps 是 到 由 
A 的 列 向 量 生成 的 子 空间 5 上 的 正 交 投影 算 子 。 

如 果子 空间 五 与 5 不 正 交 , W Pope 称 为 向 量 = 治 着 子 空间 WT, 到 子 空 
间 S 的 斜 投影 ， 并 称 Poy WEBEL. 

关于 正 交 投影 算 子 和 和 斜 投影 算 子 , 将 在 下 - - 章 “ 投 影 分 析 ” 作 专题 讨论 。 

2， 子 空间 的 天 角 与 距离 

复 向 量 空间 Co 内 两 个 非 零 向 量 s By 之 间 的 夹 角 记 为 (x,y) 它们 之 间 的 锐角 由 


_ ew m 
coble 8) = Taifu < MD < (91-12) 


定义 。 
向 量 = 与 子 空间 S 之 闻 的 锐角 定义 为 x 与 子 空间 S 的 所 有 向 量 y 之 间 的 最 小 锐 
角 , 即 
4,8) = min (2, y) (9.1.13) 
正 交 投影 算 子 的 优化 性 能 可 以 使 用 向 量 与 子 空间 之 间 的 锐角 描述 。 
定理 9.1.3 $ P 是 到 子 空间 5 的 正 交 投 影 算 子 , 则 对 于 复 向 量 空间 C 内 的 任意 
向 量 z, 有 


in Ila ~ yla = lle — 1.14 
min le ~ ylla = lle Pally (9.1.14) 


O(a, S) = O(a, Pax) (9.1.15) 

证 明 Bre Dy 是 子 空 间 8 Ee 它 与 = 之 间距 离 的 平方 为 he ylh 

H yes H Pees ai Pre-—ye s. XAN x- Pels, ik (s- Pr) Ll (Pe-y) T 
是 有 


læ- yl} = |e — Pel? + Pe- yl > le- Po 人 
BR, Ë y= Pe, 则 不 等 式 la -gj > le- Pala 取 等 号 ， 即 式 (9.1.14) 得 证 。 将 式 
(9.1.14) 取 最 小 的 条 件 y = Pa RA, 易 知 
_ _ Ke Pa) 
Pæ 5) = pigen) = Tael Pols OT 


即 式 (9.1.15) 得 证 。 a 
定理 9.1.3 表明 , 复 向 量 空间 Ct ARTA e ERE] 5 的 最 优 逼近 由 投 


影 Par 决定, 其 他 任何 逼近 形式 都 不 可 能 比 Poe 更 接近 zx。 
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定义 9.1.7L84p.76| (RE S, 和 5s 是 C" 的 两 个 子 空间 , 并 且 dim(5,) = dim(5,), 
HUIS PEA EZ AB 
dist(51, 32) = Ps, — Ps, llr (9.1.16) 
RP, Py, 是 到 子 空间 Spi = 1,2 的 正 交 投影 算 子 。 
由 式 (9.1.11) 知 ， 到 子 空间 S, = Span(z) 的 正 交 投影 算 子 Po, 利 到 S, = Span(y) 
的 正 交 投影 算 子 Ps, AWA 


Ps, = z(zTz]-izT = ge" 


Ps, = yy VW) yT = yy" 


定义 两 个 正 交 矩阵 


cos(01) — sin(6,) _ feos(02) — sin(0.) 


= (seen cos(01) v= [eg cos(b,) | 


则 
T, 1 T 
Waa [ol , a™V = [cos(6, ~ 8), sin(@, ~ 82)] 


= UT 2aTV = “oa ba) sin(a, ~ e] 


[AR] eno 
cos(0 — 63) al 


T, 了 — 
>U yy V= | sine ~ 4) 0 


注意 到 U 和 V WEEZER, 故 有 
0 sin(@, — 82) 
sin(g — 82) 


UT (ea? - yy™)V lp = ze" - yy lp = 
= [sin(@, ~— 02)| 


f 


最 后 , 得 
dist ($4, 52) = ||Ps, — Ps,lls =|sin(b — 02)| 


即 子 空间 S, 和 品 的 距离 等 于 这 两 个 子 空间 之 间 的 夹 角 8 = 0, 一 的 正弦 的 绝对 值 。 


9.1.4 主角 与 补 角 


当 两 个 子 空间 的 基 向 最 不 止 一 个 时 , 子 空间 之 间 的 夹 角 显然 会 有 多 个 。 此 时 , 两 个 子 


室 间 之 间 的 角度 是 直线 与 平面 之 间 角 度 概念 的 推广 。 
给 定 n 维 Hilbert 空间 V 的 两 个 子 空间 H 和 瑟 ， 则 两 个 子 空间 之 闻 的 夹 角 存 多 


个 。 这 些 角 度 的 个 数 与 两 个 子 空间 的 最 小 秩 数 相同 。 不 护 令 dim(H,) =p, dim(Hy) = 4 
并 且 p> 9 则 H, 和 HH, 之 间 的 夹 角 共 有 4 个 。 
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定义 9.1.8 [34 子 空间 H, 与 H, 之 间 的 第 i 主角 (principal angle) ¢; (H, H2) 是 
介 于 0 和 n/2 之 间 的 角度 ,定义 为 


= H. 一 H, 
b, (Hı, Hz) = arccos (as aku v) = arccos (w; v) (9.1.17) 
约束 条 件 为 
we = yy =1 
utu,=0, 7=1,2,---,i-1 (9.1.18) 
vty, =0, j=1,2, i-1 


式 中 , u, Mv, 是 6 达到 第 i 个 最 大 值 时 的 向 量 t M ve 

在 这 些 主角 之 中 , 最 小 的 主角 称 为 最 小 角度 (minimum angle). 

定义 9.1.9 25 子 空间 后 与 之 间 的 最 小 角度 (HI, Ha) 是 介 本 0 和 nj2 Zl 
的 角度 ,其 余弦 定义 为 


cos (Hy, Hp) 2 max {|u%o] : u € Hy, v € Ha, lal =1, lell =1} (9.1.19) 


显然 ,两 个 子 空间 之 间 的 最 小 角度 就 是 它们 之 间 的 第 1 个 主角 。 

著 将 两 个 子 空间 的 相交 部 分 排除 在 外 ， 即 可 得 到 与 最 小 角度 略 有 不 同 的 角度 定义 。 
S Hyg © Hy Hy. 

定义 9.1.10 8°] 子 空间 A 与 H, 之 闻 的 补 角 (complementary angle) 定义 为 


(Ho. H1) = (Ha N Hiz, Hy N Hia) (9.1.20) 
SOP, Hip 是 Hyg 的 正 交 补 空 间 。 
注意 ,车 两 个 子 空间 无 交 连 , M H, OH = {0}, 则 这 两 个 子 空间 之 间 的 补 第 与 最 小 


角度 相同 ， 即 oH, Hy) = (Hy, Ho) 
关于 补 角 的 取信 ，Lorch[235] 证 明了 以 上 下 结果 。 
31 9.1.1 4 H, A H, Æ Hilbert 空间 Y 的 闭合 子 空间 , N 


$e(H H2) >0 (9.1.21) 
当 且 仅 当 A, +H, 是 闭合 的 。 


9.1.5“ 子 空间 的 旋转 

在 工程 中 经 常会 对 同一 对 象 进行 多 次 测量 ， 并 且 每 一 次 的 测量 数据 并 不 完全 相同 。 
令 4 和 B 分别 是 两 次 测量 得 到 的 m x n BRER. 现在 , 希望 求 一 个 n x n KEZE 
EQ, 在 QTQ = 了 的 约束 条 件 下 , 使 得 


minl4- BQllp (9.1.22) 


BU ACME Q, 强迫 BQ 与 A 尽 可 能 一 致 。 
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上 述 问题 称 为 正 交 强 迪 一 致 问题 (orthogonal Procrustes problem)， 它 最 早 是 Green 
于 1952 年 在 计量 心理 学 杂志 上 提出 的 083。 由 于 @ 是 正 交 和 矩阵 , EERI BQ 并 不 改 
变 B 的 列 向 量 之 间 的 线性 无 关 性 , 所 以 列 空间 Col(BQ) = Col(B)。 另 一 方面 , 矩阵 乘积 
BQ 相当 于 使 矩阵 B 旋转 。 因 此， 从 子 空间 的 角度 看 问题 , 正 交 强迫 一 致 的 运算 相当 于 
使 列 空间 Col(B) 旋转 进入 列 空间 Col(4) We 显然 , 矩阵 的 Frobenius 723% || A~ BQ||p 
起 着 度量 正 交 强迫 一 致 问题 的 解 的 质量 的 作用 。 

显而易见 , 为 了 实现 4 -BQI 的 最 小 化 , 应 该 选择 正 交 矩阵 @ 使 得 BQ 具有 与 
A 完全 相同 的 非 对 角 元 素 , 并 且 对 角 元 素 的 平方 和 尽 可 能 接近 。 此 时 , 算 阵 范 数 平方 和 
JA- BQ? 可 以 写成 迹 函数 的 形式 ， 


|A- BQ = tr(A™ A) + tr(B™B) — 2tr(QT BTA) 


于 是 , R (9.1.22) 等 价 于 使 矩阵 的 迹 tr(QTBTA) 最 大 化 。 
WRR tr(QTBTA) 的 最 大 化 可 以 道 过 矩阵 乘积 BTA 的 奇异 值 分 解 nat ?58? 来 实 
Bh. 令 和 矩阵 BTA 的 奇异 值 分 解 为 B'A = ULV", RP, D = diag(o,,00,---,0,). 车 
定义 正 交 矩阵 2 =VTQTU, 则 有 
tr(QT BTA) = tr(QTUEV?) = tr(V7QTUE) 


=t(Z2) = Er 
i=1 


n 
< J oe 
ist 


当 且 仅 当 巴 = 工 即 @ = UVT 时 , 等 号 成 立 。 换言之 , SU Q =UV", 则 tr(QTBT4) 
取 最 大 值 ， 从 而 使 |A -BQ 取 最 小 值 。 

以 上 分 析 表明 , Æ BTA = UEV BHI BTA 的 奇异 值 分 解 , 则 @ = UVT 
就 是 正 交 强迫 一 致 问题 式 (9.1.22) 的 解 。 

解 矩阵 Q 称 为 矩阵 乘积 BTA 的 正 交 极 因 子 (orthogonal polar factor) Bad， 因为 
让 交 强 迫 一 致 问题 相当 于 将 矩阵 4 分 解 为 召 Q， 而 这 种 矩阵 分 解 称 为 慨 式 分 解 (polar 
decomposition), 它 因 与 复数 的 极 坐 标 分 解 z = [ale 8) 类 似 而 得 名 。 关于 矩阵 的 极 式 分 
解 及 其 应 用 , 读者 可 进一步 参考 文献 [48] 和 文献 [219]。 

有 意思 的 起 , 著 B = I,， 则 正 交 强迫 一 致 问题 变 为 


Q= pin l4- Qlle 


这 一 问题 的 数学 描述 是 : 求 与 已 知 nx n ER A 最 接近 的 正 交 矩阵 。 根据 前 面 的 分 析 ， 
HA=UEV' 是 A 的 奇异 值 分 解 , 则 Q = UVT 是 与 矩阵 A 最 接近 的 正 交 算 阵 。 


9.1.6 ”信号 空间 的 线性 无 关 性 
在 情 号 处 理 等 应 用 中 , 常常 会 对 几 个 信号 是 否 线性 无 关 感 兴趣 。 令 u (k) ulk) 
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Unk) 是 m 个 感 兴趣 的 离散 信号 。 显 然 , 这 m 个 信号 线性 无 关 , 苦 方程 
111 (K) + cgtig(k) tit + Cntim() = 0, YY 整数 天 (9.1.23) 


意味 着 c = cy = ++ 一 cm = 00 
既然 方程 式 (9.1.23) 对 所 有 k R, ARE k 后 面 m — 工 个 相 邻 的 离散 时 间 
大 十 山大 十 2…… ,万 十 m2 一 1 也 应 该 成 立 , 即 有 


yt (K+ 1) + cgug(k +1) +--+ emum(k+i+1) =0, Yk 


cpus (k+m—1)+ cqu(k+m—A) +--+ +6nun(kK+m—-1)=0, Vk 


与 式 (9.1.23) 联 立 , 并 写成 矩阵 方程 , 有 


u (k) uak) 和 un(k) a 0 
wil(k+1) Wak+1) + Umlk + 1) Cy 0 

: : : -|=|.|, ve (81.24) 
u,(k+m—1) u(ktm—-1) = untk+mo— 1 Len 0 


RP, mx m 系数 和 矩阵 称 为 信号 的 Casorati EE, HITIRI A ulk), ualk) -Um (k) 
的 Casorati 行列 式 274 p23, 

LAAT. 仅 当 Casorati 矩阵 非 奇异 时 ，(9.1.24) 有 唯一 的 零 解 c = e = 
+++ = Cm = Oo 此 时, m 个 信号 uz (hk), u( k) Un (ke) 线性 无 关 。 因 此 , 只 要 证 明 Casorati 
矩阵 对 一 个 值 为 非 奇异 矩阵 即 可 。 自 然 地 ,最 简单 的 情况 是 检验 & = 0 时 Casorati 4E 
阵 的 韭 奇异 性 。 

上 述 线性 无 关 性 也 称 信号 空间 的 线性 无 关 性 Al, 

例 9.1.3 确定 信号 5* cos(kn/2) 和 5* sin(kn/2) 是 否 是 差分 方程 


z(k+ 2) + 252(k) =0 a) 


的 解 集 的 一 组 基 ? 
解 一 组 信号 是 否 为 某 个 差分 方程 的 解 集 的 一 组 基 ， 必 须 满足 两 个 条 件 ; 它们 必须 
是 差分 方程 的 一 组 解 , 并 且 这 些 信号 线性 无 关 。 AARI 5* cos(kn/2) 和 5* sin(kn/2) 是 
差分 方程 的 一 组 解 。 这 两 个 信和 号 的 Casorati 矩阵 为 
c= | 5* cos(k7t/2) 5" sin(kr/2) | 
Sx+1lcos[(k + 1)n/2) 5#+! sin[(k + 1)7/2] 


Bek = 0, M 


由 Casorati 矩阵 的 非 奇 异性 可 以 判断 , 信号 5* cos(k7t/2) 和 5* sin(kn/2) 线性 无 关 。 由 于 
5* cos(kn/2) 和 5* sin(kr/2) 既是 差分 方程 的 解 ， 又 起 线性 无 关 的 ， 故 它们 是 差分 方程 的 


解 集 的 一 组 基 。 
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9.2 ” 列 空 间 、 行 空间 与 零 空 间 
在 对 向 鞭子 字 间 进 行 分 析 之 前 , 有 必要 先 了 解 与 矩阵 密切 相关 的 基本 空间 : 列 空间 、 
行 空间 和 零 空间 。 
9.2.1 ”矩阵 的 列 空间 、 行 空间 与 零 空间 
为 方便 叙述 , 对 于 矩阵 A < Cmxn, 其 m 个 行 向 量 记 作 


Ti = [mta Can] 

T2 = [a2 a22, Gan) 

Tm = [ami m2 amal 

n 个 列 向 量 记 作 
Qal Q12 Qn 
az a22 O27 
“=j, ts 5j, yr cts E|. 

Oral, or2 Onn, 


定义 9.2.1 E A= jaap ,Qn] EC HREM, 则 其 列 向 基 的 所 有 线性 纽 合 
的 集合 构成 一 个 子 空间 , BRA RIE A 的 列 空间 (column space) 或 列 张 成 {column span), 
用 符号 CoA) 表示 , 即 有 


Col(4) = Span{faa ca， ,an} (9.2.1) 
= {eon y=} ajaj: ace) (9.2.2) 
j=l 


类 似 地 ,矩阵 A SEFC TT ALRE riri oorh € C” 的 所 有 线性 组 合 的 集合 称 为 矩阵 
A 的 行 空 间 (row space) 或 行 张 成 (row span), 用 符号 Row(A) 表示 , 即 有 


Row(A) = Span{ri, ri orm} (9.2.3) 
= {vec y=} Ari: aec} (9.2.4) 
i=1 


在 有 些 文献 中 , 常用 符号 Span( A} 作为 4 的 列 空 间 的 略 写 , 即 


Col(4) = Span(4) = Span{a;, 02,- ,an} (9.2.5) 
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类 似 地 , 符号 Span(A™) 表示 A MIRE ERE AM 的 列 空间 。 由 于 AM 的 列 向 量 就 
是 矩阵 4 MITE, 故 


Row(A) = Coel(4H) = Span( A") = Span{ri r5 sr (9.2.6) 


RIER A MITE RARI EEE AM 的 列 空间 等 价 。 

将 复 矩 阵 4 PTS EX AHSCT AM ri orh 的 所 有 线性 组 合 的 集合 ， 
虽然 在 形式 上 比 直接 定义 为 rro ,rm 的 所 有 线性 组 合 的 集合 略 显 复杂 , 但 在 利用 矩 
阵 的 奇异 值 分 解 得 到 行 空间 时 , 却 会 带 来 很 大 的 方便 , 详 见 9.3 节 。 

行 空间 和 列 空间 是 直接 针对 矩阵 Ane 本 身 定义 的 向 量子 空间 。 此 外 , 还 有 另外 两 
个 向 量子 空间 不 是 直接 用 答 阵 4 定义 ,而 是 通过 和 矩阵 变换 Axr 定义 的 。 这 两 个 子 空间 是 
映射 或 变换 的 值 域 和 零 空间 。 

在 第 LEP, BN T 的 值 域 定 义 为 T(e) AO 的 所 有 值 的 集合 , 而 映射 THRRET 
闻 则 定义 为 满足 T(z)] = 0 的 所 有 非 零 解 向 量 x 的 集合 。 很 白 然 地 , 车 线性 上 映射 gy = T(z) 
是 从 Cm 空间 到 Cm 空间 的 年 阵 变换 ， 即 ym = 4mxnaznxl， 则 对 于 一 个 给 定 的 矩阵 
A, SERRE Ar 的 值 域 定义 为 向 量 y = Ac 的 所 有 值 的 集合 ; 而 零 空间 则 定义 为 满足 
Aw = 0 HAR > 的 集合 。 在 一 些 文献 (特别 是 工程 文献 ) 中 , 常 将 矩阵 变换 Ace 的 值 域 
AFRI IARA FER A 的 值 域 和 零 空 间 , 即 有 以 下 定义 。 

定义 9.2.2 Ë ARI mxn RER, M A KHER (range) 定义 为 


Range(A) = {ye C™ : An=y, 2EC"} (9.2.7) 


JEM: A KEZI (null space) 也 称 A 的 核 (kernel), 定义 为 满足 齐 次 线性 方程 kz = 0 
的 所 有 解 向 量 的 集合 , BI 


Null(A) = Ker(A) = {a € C” : As = 0} (9.2.8) 
类 似 地 , HIERE Anxa 的 共 辆 转 置 4 的 零 空间 定义 为 
Null(A¥) = Ker(A®) = {x € C™ : As = 0} (9.2.9) 
零 空间 的 维 数 称 为 4 的 零 化 维 (nullity) WA 
nullity(A) = dim[Null (A)] (9.2.10) 
AR [anan an] 是 4 ATR, AW æ = [aaz an]. 则 Aw = 
aiaj， 故 立即 有 


jAl 


ja 


Range(A) = f EC™: y= Saja; :ay € c} 一 Span{fal,a2…… ,an} 
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RAR A 的 值 域 就 是 A EN, B 
Range(A) = Col(A) = Span{a),@2,-+- ,an} (9.2.11) 


类 似 地 , 有 
Range(A®) = Col(A™) = Span{ri, ri,--- ,r%,} (9.2.12) 


定理 9.2.1 Ë AT mxn RER, 则 A 的 行 空间 的 正 交 补 (Row(4))+ 是 4 的 零 
空间 , 并 且 A 的 列 空间 的 正 交 补 (Col(A))+ 是 A" 的 零 空 间 , 即 有 


(Row(A))+ = NUKA), (Col A)+ = Null(A™) (9.2.13) 


证 明 QER A OUT A 7,0 = 1,2,… ,m。 由 矩阵 的 乘法 规则 知 ,车 = 位 于 
零 空 间 Null(A), BE Az = 0, Were = 0。 写 成 两 个 列 向 基 正 交 的 标准 形式 ， 为 
(rH)Hg = 0,1 = 1,2.… ,m。 这 意味 着 ,向 量 z S rk rH... 的 线性 张 成 正 交 , BI 


æ 1 Span{ril rl, .-. r=} = Col(AF) = Row(A) 


从 而 z 的 所 有 集合 即 Null(4) 与 Row(A) EZ. 反之, # x 与 Row(A) = Col(A™) E 
交 , 则 有 x 与 r,i = 1 2 ,m EX, 即 (rH)z = 0, SOW ræ = 0,i = 1,2,---,m 
或 4x = 0。 这 表明 ， 与 Row(4) 正 交 的 向 量 s 的 集合 是 和 矩阵 4 的 零 空间 。 因 此 ， 有 
(Row(A))+ = Null(4)。 

在 (Row(B,xm))+ = Null(B) 中 令 B= AE、,, 立即 有 


(Row(4E)i = Null(AF) = (Col(A))+ = Nuli(A®) 


这 就 完成 了 本 定理 的 证 明 。 Â 
总 结 以 上 讨论 , 即 可 得 到 与 矩阵 4 的 向 量子 空间 之 间 的 关系 ; 
(1) 矩阵 A 的 值 域 与 列 空间 相等 ， 即 


Range(A) = Col(A) = Spanfai,aa ,an 
(2) 矩阵 4 的 行 空间 与 AM 的 列 空间 相等 , 即 

Row(A) = Col(A™) = Range( A") 

(3) 矩阵 4 的 行 空间 的 正 交 补 等 于 4 的 零 空 间 , 即 


(Row(A))+ = Null(A) 


(4) MERE A 的 列 空间 的 正 交 补 就 是 AT 的 零 空 间 ， 即 


(Col(A))+ = Null(A®) . 
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BEARER A 的 列 空间 Col(A) 是 其 列 向 基 的 所 有 线性 组 合 的 集合 , 那么 列 空间 CoA) 
便 只 由 那些 线性 无 关 的 列 向 量 a;,, 6&i,,… ,os WE 而 与 这 些 列 向 量 线性 相关 的 其 他 列 
向 量 对 于 列 空间 的 生成 则 是 多 余 的 。 

FRA {ar ab，… a) 是 列 向 量 集 合 {a,,02,---,0,} 的 最 大 线性 无 关子 集合 
{maximal linearly independent subset), # ai aaa，… , Qi， 线性 无 关 ， 并 且 这 些 线性 无 
关 的 列 向 量 不 包含 在 {a1,az,… ,an} 的 任何 其 他 线性 无 关 的 子 集合 中 。 

HF {apap ,Qi.} 是 最 大 线性 无 关子 集合 ， 则 


Span{falaa ,0n} = Span{a; aitt ,a;,} {9.2.14) 


并 称 最 大 线性 无 关于 集合 {a1,a2，,… , a} 大 矩阵 A 的 列 空 间 Col(4) RIE. AR, 对 于 
一 个 给 定 的 矩阵 4,,x。， 它 的 基 可 以 有 不 同 的 组 合 形式 , 但 所 有 基 形 式 都 必须 包含 相同 
的 向 量 (E) 个 数 。 这 个 共同 的 向 量 个 数 称 为 短 阵 A 的 列 空间 Col(4) 的 维 数 , 出 符 
号 dim[Col(4)] 表示 。 又 由 于 和 矩阵 4wxn 的 秩 定义 为 线性 无 关 的 列 向 量 个 数 ， 故 矩阵 A 
的 秩 与 列 空间 Col(A) 的 维 数 是 一 致 的 , 也 可 以 将 悉 定 义 为 


rank(A) = dim[Col{ A)] = dim(Range(A)} (9.2.15) 
一 个 自然 的 问题 是 ; 矩阵 的 列 空间 和 有 零 空间 之 间 有 什么 样 的 联系 ? 事实 上 , EE 


空间 存在 很 大 的 不 同 , 详 见 表 9.2.1。 
表 9.2.1 m xn XE A 的 零 空间 与 列 空间 的 对 比 27 P.226) 


等 空间 Null (A) 列 空间 Col (A) 
Nul (A) 是 Cm 的 子 空间 Col{A) 是 Cn 的 子 空间 
Null(A) 为 隐 含 定义 , 与 A 的 列 向 量 无 直接 关系 | Col(A) 为 显 式 定义 , 直接 由 A 的 所 有 列 向 量 张 成 
Nui (A) 的 基 应 满足 Aw = 0 Gol(A) HRE A 的 主 元 列 
Null(A) SiRF A 的 元 素 尤 任何 明显 关系 SEB; 的 每 一 列 都 在 Col (A) 内 
Null(A) 的 典型 向 量 v 满足 Av= 0 Col(A) 的 典型 向 最 满 足 4z 一 为 -HAF 
vE Null (A) 的 条 件 : Av =0 ve Col{A) MAH: [Av] 与 入 具有 相同 的 秩 
Null(A) = {0} 当月 仅 当 Aw = 0 NAERA Col{A) = {0} HHRH Aa = b 有 解 
Nuil (A) = {0} SRR Aw 为 一 对 -映射 Col (A) = {0} SARH Aw 为 O” 到 Cm 的 映射 


Moore-Penrose |" CHER AIDA SI EUR21 Rangel A) 的 投影 矩阵 Prongoca) 
和 到 零 空间 Null(4) 的 正 交 补 的 投影 矩阵 Pouca 定义 。 
定理 9.2.2 Bed 令 A 是 一 个 mx nt, 则 存在 一 个 唯一 的 m xn SHIRE G 使 得 


下 列 条 件 满足 : 
AG = Paangetay, CA = Pinua GAG=G 


满足 定理 条 件 的 矩阵 G 实质 上 就 是 矩阵 A 的 Moore-Penrose 广义 逆 矩 阵 。 
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9.2.2 FRB MR: 初等 变换 法 


如 上 所 述 , FEM Amen 的 列 空间 和 行 空间 分 别 由 4 的 ”个 列 向 量 和 m 个 行 向 量 张 
成 。 (Ate, MRA r= rank(4)， 则 只 需要 和 矩阵 4 的 * ARERI RIT al 
其 ( 即 基 ), 即 可 分 别 生成 列 空间 Span(4) 和 行 空间 Span(A™). 显然 , 使用 基 疝 量 是 一 种 
更 加 经 济 和 葛 好 的 子 空间 表示 法 。 那么， 如 何 寻找 所 需要 的 相向 量 呢 ? 上 上 面 讨论 矩阵 A 
的 行 空间 Row(4)、 列 空间 Col(4) 以 及 零 空间 Null(A) 和 Null(A™) 的 基 的 构造 。 

下面 的 四 个 定理 分 别 表明 ， 算 阵 的 初等 变换 不 会 改变 矩阵 的 行 空间 、 列 空间 与 堆 
空间 。 

定理 9.2.3 ”初等 行 变换 不 改变 一 个 矩阵 前 行 空间 。 

证 明 roro s.m 是 矩阵 Aman 的 行 向 量 , 矩阵 B,,., QI ATMS 
行 变换 得 到 的 和 矩阵。 为 此 ， 需 要 证 明 , B 的 行 空间 里 的 每 一 个 向 量 都 在 4 的 行 空间 里 。 
RZ, 4 的 行 空间 里 的 每 一 个 向 晤 也 在 B 的 行 空间 里 。 

WR BAR 4 的 工 型 初等 行 变换 ATM AM), W BA 4 显然 具有 相同 的 行 
Aik, 只 是 顺序 排列 不 同 而 已 , 因此 BP A 具有 相同 的 行 空间 。 B A 的 I WH 
等 行 变换 , 则 B 的 所 有 行 向 其 roro orn 只 是 A 的 相应 行 向 量 rita. ,rm DA 
相 乘 一 个 可 能 不 同 的 非 零 标量 (未 被 变换 的 行 相当 于 乘 1) 而 已 。 当 对 A 进行 ] 型 初等 
行 变换 ( 某 行 乘 非 零 因子 后 ， 再 加 到 另外 一 行 ) 时 , 佐 阵 B 的 行 向 量 r 相当 于 是 4 的 
某 些 行 向 量 的 线性 组 合 。 显 然 , 在 这 两 种 情况 下 , IEE B 的 任何 一 个 行 向 二 ?1 部 可 以 视 
为 A 的 某 些 行 向 量 的 线性 组 合 , 即 4 的 初等 行 变换 结果 B 的 行 向 量 ri (i = 1,2,--- ,m) 
都 位 于 4 的 行 空间 内 。 

接 下 来 证 明和 矩阵 A 的 行 向 量 也 在 行 初等 变换 结果 B 的 行 空 间 里 。 显然 , 矩阵 4 可 
以 看 作 是 矩阵 B 的 初等 行道 变换 , 而 初等 行道 变换 与 初等 行 变换 之 间 的 差别 只 是 某 行 乘 
非 零 因子 o 变 成 乘 非 零 因子 1/0, 与 某 行 相 加 变 成 与 另 一 行 相 减 , 因此 4 的 每 一 个 行 向 
量 一 定位 于 B 的 行 空间 内 。 综 合 以 上 结果 知 , HERE A 和 B 具有 相同 的 行 空间 。 E 

定理 9.24 初等 列 变换 不 改变 一 个 矩阵 的 列 空间 。 

证 阴 与 定理 9.2.3 的 证 明 相 类 似 , 留 给 读者 作 练习 。 

定理 9.2.5 ”初等 行 变换 不 改变 矩阵 A 的 零 空间 Null( 4)。 

证 明令 基 本 矩阵 B, 是 对 应 于 矩阵 4 第 i 次 初等 行 变换 的 矩阵 。 ATTI ~ M 
型 初等 行 变换 ， 相 对 应 的 基本 矩阵 的 行列 式 都 不 等 于 零 , 故 基 本 和 矩阵 E, 非 奇 异 。 TE 


Ba = (EE; 4jz=0 人 4z=0 


即 齐 次 线性 方程 Bz = 0 与 Ar = 0 具有 相同 的 解 向 量 , 从 而 4 经 过 若干 次 初等 行 变换 
后 得 到 的 矩阵 B 与 A 具有 相同 的 零 空间 。 E 

定理 9.2.6， 初 等 列 变换 不 改变 矩阵 48 KEZ N(A"). 

证 明 ”与 定理 9.2.5 的 证 明 相 类 似 ， 留 给 读者 作 习 题 。 

下 面 的 定理 给 出 了 利用 撼 阵 的 初等 行 变换 或 者 初等 列 变 换 构 造 所 需要 的 闻 空 间 的 
方法 。 
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定理 9.2.7 SHEE Amen 经 过 初等 行 变换 后 ， 变 成 阶梯 型 矩阵 B, My 
(1) 阶梯 型 矩阵 B 的 非 零 行 组 成 矩阵 和 4 和 B 的 行 空间 的 一 纽 基 ， 
(2) 矩阵 4 的 主 元 列 组 成 列 空间 Col(4) 的 一 组 基 。 

证 明 (1) 由 定理 9.2.3 知 , 初等 行 变换 不 改变 矩阵 的 行 空间 , 故 Row( 4) = Row(B). 
WR BB 是 阶梯 型 , 则 它 的 非 零 行 是 线性 无 关 的 , 因为 没有 任何 一 个 非 零 行 是 它 下面 的 非 
零 行 的 线性 组 合 。 因 此 ，B 的 非 零 行 组 成 行 空间 Row(B) MRE, 从 而 也 是 Row(A) 的 一 
组 基 。 

(2) 阶梯 型 矩阵 B 的 所 有 主 元 列 的 集合 是 线性 无 关 的 , 因为 集合 中 的 任何 向 量 都 不 
可 能 是 其 他 向 量 的 线性 组 合 。 由 于 AA B 是 行 等 价 的 , 故 4 的 主 元 列 也 线性 无 关 , A 
A A 各 列 中 的 任何 线性 相关 关系 都 对 应 为 B 的 列 之 间 的 线性 相关 关系 。 同 理 , 4 的 每 
一 个 非 主 元 列 是 A 的 主 元 列 的 线性 组 合 。 因 此 , 根据 张 成 集 定理 , 这 些 非 主 元 列 都 可 以 
从 列 空间 Col(4) 的 张 成 集中 删 去 ， 剩 下 的 主 元 列 则 构成 CoA) 的 一 组 基 。 s 
上 证 明 参 考 文献 [274, pp.257~258] 和 文献 [274, p.236] 而 成 。 . 

总 结 以 上 讨论 ,可 得 到 构造 矩阵 的 行 空间 和 列 空间 的 基 向 量 的 初等 变换 法 如 下 ; 
初等 行 变换 法 “ 令 矩 阵 A 经 过 初等 行 变换 ， 变 为 简约 阶梯 型 矩阵 B, o 

0) 简约 阶梯 型 B, 所 有 主 元 位 置 所 在 的 非 零 行 构成 行 空间 Row(4) 的 基 ; 

(2) 矩阵 A 的 主 元 列 组 成 列 空间 Col(4) 的 基 ; 

(3) JERE A 的 非 主 元 列 组 成 零 空间 Null(4z) 的 基 。 

初等 列 变换 法 QER A 经 过 初等 列 变换 ， 变 为 列 形式 的 简约 阶梯 型 矩阵 B。。 
(1) 列 形式 的 阶 习 型 矩阵 B, 所 有 主 元 位 置 所 在 的 非 零 列 构成 列 空 间 C(A) 的 基 ; 
(2) SEB A 的 主 元 行 组 成 行 空间 Row(4) 的 基 ; 

(3) 矩阵 A 的 非 主 元 行 组 成 零 空间 Null(A) 的 基 。 


卡 面 举例 加 以 说 明 。 
例 9.2.1 R 3x3 ME 
1 21 
A=] -1 -11 
1 45 
的 行 空间 与 列 空 间 。 
解法 1 依次 进行 初等 列 变换 : Cs 一 2C, (第 1 WH -2, 与 第 2 列 相 加 ), Cs 一 O01, Oi 十 
Cy, Cy 一 2C2， 变换 结果 为 
100 
B.=|0 10 
b 2 | 


由 此 得 到 两 个 线性 无 关 的 列 向 量 e = [1,0,3]7, cz = [0,1,2]T, 它们 就 是 列 空间 Col(4) 的 


基 , 即 
1 0 
Col(4) = Span { | , | \ 
3 2 


= 


9.2 列 空间 , 行 空间 与 零 空间 607 


根据 列 简约 阶梯 型 矩阵 B KELE, 矩阵 A 的 主 元 行 是 第 1 行 和 第 2 行 , 即行 空间 
Row(A) 可 以 写作 


Row(A) = Span{(1, 2,1], (~1, —1, 1J} 

解法 2 依次 作 初等 行 变换 ， Ry + R (第 1 行 加 到 第 2 7), Ra- R, Ry 一 282， 则 
变换 结果 为 
2 1 
1 2 
o oj 
得 到 两 个 线性 无 关 的 行 向 量 ri = [1,2,1], ra = [0,1,2]; 它们 组 成 行 空间 Row(4) 的 基 向 
量 , 即 
Row(4) = Span{[i, 2, 1], [0, 1,21} 


而 矩阵 4 的 主 元 列 为 第 1 列 和 第 2 列 , 它们 组 成 列 空间 Col(4) 的 基 , 即 


= 


事实 上 ,两 种 解法 的 结果 等 价 ， 因 为 对 解法 2 求 得 的 列 空间 的 基 作 初等 列 变换 ， 有 


1 2 1 1 o 1 1 0 
-1 -1 | 24, | -1 9 | E |1 of 20% Jo 1 
1 4 13 23 3 2 


与 解法 1 的 列 空间 基 向 量 结果 相同 。 类 似 地 , 可 以 证 明 , 解法 1 和 解法 2 得 到 的 行 空间 
的 基 向 量 也 等 价 。 

由 于 初等 行 变换 与 初等 列 变换 得 到 的 行 空间 与 列 空间 的 基 向 量 等 价 ， 故 任意 选择 一 
种 初等 变换 均 可 。 习惯 上 使 用 初等 行 变换 。 不 过 , FERRARE FAT RT, 初等 列 
变换 需要 较 少 的 次 数 。 

例 9.2.2 已 知 3 x 5 矩阵 


经 过 初等 行 变换 ， 该 矩阵 可 化 为 阶梯 型 短 阵 
122 3 -1 
AvB=|0 01 13 -5 
[3 0 0 0 :| 
由 其 主 元 位 置 所 在 的 行 , 即 可 得 到 答 阵 A 的 行 空间 为 


Row (A) = Span{{1, 2, 2, 3, —1], [0, 0, 1, 13, —5}} 


即行 空间 的 两 个 基 向 量 为 [1,2,2,3, 1] 和 [0, 0, 1, 13, -本 。 
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Xh B 的 主 元 位 置 知 , RR A 的 主 元 列 为 第 1 列 和 第 3 列 , 故 有 


一 生 一 7 
| 1 | | 
2 3 
ATR Null (4), 再 使 用 初等 行 变换 , 将 阶梯 型 矩阵 B 变 为 简约 阶梯 型 矩阵 
120 -23 9 
A~xB~C=|0 61 13 -5 
000 
FE, 齐 次 方程 Cx = 0 为 
+ 2xq — 2824+ 92, =0 
Zs + 1824 — 5x5 = o? 
其 特 解 2 = [Pa t2 T3: 2a 25)" H 
æ= [-2,1,0,0,0)7 或 w =[-11,1,5,0,1)7, 


因此 ,简约 阶梯 型 矩阵 C 的 零 空 间 Null (A) 可 以 写作 


—11 
1 


wee 


-2 

、 i 
Null (C) = Span 0 或 Null (C) = Span 5 
0 0 
0 1 
由 于 4 与 C 为 行 等 价 矩 阵 , 故 Ae =0 5 Ce =0 Sth, 即 Null(A)=Nuli(C), 故 


-11 


-2 
1 1 
Null (A) = Span 0 或 Null(4) = Span 5 | ，， 
0 
0 


容易 验证 , 零 空间 Null (A) 的 基 向 量 [2, 1, 0,0, 0] (LÈ [-11, 1, 5,0, 1T) 与 行 宝 间 Row (A) 
的 基 向 量 [1,2, 2,3, —1] Al [0,0,1, 13, 一 引 分 别 正 交 , 因此 Null(4) = (Row(4))+。 就 是 说 ， 
列 向 量 [一 2 1,0,0,0]7 和 [一 11,1, 5, 0, 17 确实 分 别 是 零 空 间 Null (A) 的 基 向 量 。 

顺便 指出 ， 堆 空间 Null (A) AUER Et z 也 可 以 直接 根据 与 行 空间 Row(4) 的 基 向 其 
的 正 交 关系 求 出 : 


TL ee ok 四 


zs 十 1374 — 525 =0 
容易 证 明 , 齐 次 方程 (1) 和 (2) 实际 上 大 等 价 的 。 
下 面 的 定理 描述 了 一 个 m x n 矩阵 的 秩 与 其 零 空 间 维 数 之 间 的 关系 ， 称 为 秩 定理 


(rank theorem). 
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定理 9.2.8 HERE Amyn 的 列 空间 与 行 空间 的 维 数 相 等 。 这 个 共同 的 维 数 就 是 矩阵 
A 的 秩 rank(4), 它 与 零 空 间 维 数 之 间 有 下 列 关系 : 
rank(A) + dim[Null(A)] = n (9.2.16) 
证 明 根据 第 阵 秋 的 定义 式 (9.2.15) MI, rank(A) MEHR A 中 线性 无 关 列 (HIE 
元 列 ) 的 个 数 。 即 是 说 , rank(4) 艳 经 过 初等 行 变换 得 到 的 阶梯 型 矩阵 B 的 主 元 的 个 数 。 
由 于 在 每 一 个 主 元 位 置 , 阶梯 型 矩阵 B 的 行 都 基线 性 无 关 的 非 零 行 ， 并 且 这 些 行 构成 矩 
BE A 的 行 空间 , 所 以 知 阵 的 秩 rank(4) 也 是 行 空间 Row(A) 的 维 数 。 由 定理 9.2.1 知 ， 
rank(A) + dim[Null(A)] = rank(A) + dim{(Row(A))}+] 
= dim|Row(A)] + dim[(Row(A))*] 
本 定理 成 立 。 a 
F 面 的 定理 表明 , EEK QR 分解 也 可 以 用 于 构造 列 空间 的 基 向 量 。 
定理 9.2.9 F 4 = QR RNASE Ae R” 的 QR 分 解 ， 并 用 A = 
[etbas an] Al Q = [gg ,9m] 是 列 分 块 的 , 则 
Span{@,,@2,--- ,@,} = Span{qi, ga, ,qe}, R= 1,200 40 
特别 地 , 若 Q = [QQ 其 中 , Q, 是 Q 的 前 n 列 组 成 的 分 块 , Qs 是 Q 的 其 他 列 组 成 
的 分 块 , 则 


Range(A) = Range(Q1), (Range(A))+ = Range(Qz) 
并 和 且 A= QR, R= Rl: niin), BR, BRWALA nxn 方块 。 
证 明 比较 4 = QR ARIAS & 列 , 可 以 得 出 结论 : 


k 
ar =} rati € Span{gi ga ,qx} 
i=1 


上 式 表明 ，Span{a1,82,… ,Qk} C Span{ay, qdo ,qk}。 然而 ,由 村 rank(4) = n, i 
Span{@1,092，… ap} RAER k, ATH Span{a1,92,… ,ak) = Span{q1, g2 ;qk}。 
定理 的 剩余 部 分 可 以 直接 得 出 。 a 


9.23 ”基本 空间 的 标准 正 交 基 构造 : 奇异 值 分 解法 
初等 变换 法 得 到 的 只 古 线 性 无 关 的 基 向 量 。 然 而 ,在 很 多 应 用 中 ,希望 获得 已 知 矩 


阵 的 烈 空间 、 行 空间 和 和 零 空 间 的 正 交 基 。 对 线性 无 关 的 基 向 量 ， 使 用 Gram-Schmidt 正 交 
化 , 可 以 实现 这 些 要 求 。 但 是 , 更 方便 的 方法 是 利用 和 矩阵 的 奇异 值 分 解 。 


令 秩 rank(4) = r 的 矩阵 Amyn 具有 以 下 奇异 值 分 解 : 
A=UDVE (9.2.17) 


式 中 z, | 


> a, 
u=|U,,0,), V=[V,,Vil), z=| xn 一 人 
Ve Va Oor nx-n On-n)xtnr) 
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这 里 , U, MO, DIA mxr Al mx (m—r) ERE, VV, 分 别 为 nxr 和 mx (nr) 
$Me, 并 且 X = diag(oy,02,--- ,a,)e 
显然 , 矩阵 A 的 奇异 值 分 解 可 简化 为 


A=U, E, Vi =) omor (9.2.18) 


= 


z 
AM =V, E, U} = ojvjul! (9.2.19) 


=I 

下 面 分 别 讨论 列 空间 、 行 空间 和 有 零 空间 的 标准 正 交 基 的 构造 。 

1， 列 空间 的 标准 正 交 基 构 造 

将 式 (9.2.18) 代入 值 域 Range(4) 的 定义 式 , 易 得 
Range(A) = {y EC™: y= Ar, zeC™} 


= {ve cm: y= onto， vec} 


i=1 


= {ve C”: y= > uloa), sec) 


i=l 


= fv EC™: y -You a; = oufe E c} 
-Spanja tiny) 
利用 值 域 与 列 空间 的 等 价 关系 , 即 有 
Col(A) = Range(A) = Span{t, u3,- ar 


这 表明 ， 与 r 个 非 零 奇 异 值 对 应 的 左 奇异 向 量 uur ou, 构成 列 空间 Col(4) 的 一 
组 基 。 


2， 行 空间 的 标准 正 交 基 构 造 
HAR A AF 的 值 域 , 得 
Range(4B) = {y € C”: y= AMz, 2eEC™} 


r 
= {vec y= > louie, secr} 
i=l 


r 

= fv EC: y=D aw, =ou eE o} 
i= 

= Span{v1, v2,... , v,} 


从 而 有 
Row(A) = Range(A™) = Spanfultga，… ,wr} 
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BIG r 个 非 零 奇 异 值 对 应 的 右 奇异 向 量 v1, v2,… ,tr 是 行 空间 Row(A) 的 一 组 基 。 
3， 零 空间 的 标准 正 交 基 构造 


由 于 假定 矩阵 的 秩 为 ro BORSA Null(A) HERET m 一 r。 因 此 ,我们 需要 寻找 
nor 个 线性 无 关 的 标准 正 交 向 量 作为 零 空间 的 标准 正 变 基 。 为 此 , 考虑 满足 hz = 8 的 
Fiat. 由 奇异 向 量 的 性 质 得 oily, = 0, Yi 二 1,2,… ,rj 二 7 十 1,7 十 2,… ,mn。 由 此 知 


r 
Av; = o,u,vitv, =0, Vg=rtirt2,--- a 
i=l 


由 于 与 零 奇异 值 对 应 的 n-r PARARE vyn pr+a ,vn 线性 无 关 , 并 且 满足 As = 
0 的 条 件 ， 故 它们 组 成 了 零 空 间 Nul(4) 的 基 , MA 


Null(A) = Spanfo oria ,vn} 
类 似 地 , 有 > 
Alu; =J omau =0, Yj=r+l,r +2,- ,m 
i1 
由 于 m-r 个 右 奇 异 向 量 tto the, 线性 无 关 , 并 且 满足 AF = 0 的 条 件 , 故 
它们 组 成 了 等 空 间 Null(A™) 的 基 , 即 有 
Null(A") = Span{w, 1, Wrra, s Um} 


由 于 矩阵 4 e Cm*" HEAR ROEM U AGRARNE V ARER, 所 以 上 
述 方法 实际 上 分 划 提 供 了 4 的 列 空间 、 行 空间 和 零 空 间 的 标准 正 交 基 。 总 结 以 上 讨论 ， 
对 丁 秩 为 > 的 复 矩 阵 A e Cmx"， 有 以 上 下 结论 : 
(1) 与 非 零 奇异 值 对 应 的 r 个 左 奇异 向 量 u, wz,… ,ar 是 列 空间 Col( 4) 的 标准 正 


交 基 , 即 有 
Col(A) = Span{t,, tiz,- ,Ur} (9.2.20) 
(2) 与 零 奇 异 值 对 应 的 m-r 个 左 奇异 向 量 ey tyes 是 等 空间 Null(AF) 
的 标准 正 交 基 , 即 
Null(A™) = (Col( 4))+ = Span{ w+, Uep" stm} (9.2.21) 


(3) 与 非 零 奇异 值 对 应 的 x 个 右 奇 异 向 量 vvo ,ay 是 行 空间 Row(A) 的 标准 
正 交 基 , 即 


Row(A) = Span{v,, v2 ,v,} (9.2.22) 
(4) 与 零 奇异 值 对 应 的 n-r MIRRE v.01,9742，… On BEB Null(4) 的 
标准 正 交 基 , 即 


Null(A) = (Row(A))* = Span{v, 41542577 on (9.2.23) 
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A Uy 是 与 矩阵 WO p 个 非 零 奇 异 值 对 应 的 左 奇异 向 量 组 成 的 矩阵 。 类 似 地 ,Us 
是 与 矩阵 S 的 个 非 零 奇异 值 对 应 的 左 奇 异 向 量 组 成 的 矩阵 ， 其中, 假设 p > g Golub 
与 Van Loan [84 证 明了 ， 所 有 主角 都 可 以 利用 奇异 值 分 解 计算 : 由 于 Span(Uy) = 
Range(H) 和 Span(Us) = Range(S)， 故 子 空间 Range(HY) 和 Range(S) 之 间 的 第 i 个 主 
Ah 


Qi = arccos À, i=1,2,..,4 (9.2.24) 


给 出 , 式 中 , A ERRER URU s 的 第 i Pa 

QR 分 解 是 构造 矩阵 A 的 列 空间 的 正 交 基 的 另外 一 种 方法 Bl, Sn xn 矩阵 A = 
[eu aa，… ,an] 非 奇 异 , 并 令 Q = [gl ga anle FA ai = 71191, @ 一 71291 + Pond 可 
以 写 出 一 般 形 式 


Be = Tigi Hrala 二 十 TRGR k= 57 
由 此 得 Span{a,) = Span{q,}, Span{a,,a,} = Span{q1, 92} 以 及 一 般 形式 
Span{a,,@2,--- ap} = Span{fgl,g2 sr}, k=1,2, ,7 


最 后 有 CHA) = Col(Q). RAZ. MER Q 的 列 向 量 是 矩阵 A 的 列 空间 的 一 组 标准 正 
交 基 。 
9.2.4 ”构造 两 个 零 空 间 交 的 标准 正 交 基 
土 面 介绍 了 使 用 矩阵 奇异 值 分解 ， 构 造 单个 零 空 间 Null(4) 的 标准 正 交 基 的 方法 。 
现在 考虑 对 给 定 的 两 个 矩阵 A Cmxn 和 Be CPx"， 如 何 构造 零 空 间 的 交 Null(A) m 
Null(B) 的 标准 正 交 基 。 
显然 , BS 


A m- 
= {(m+p)xn 
c- 国 ee P 


则 
Cr=0 += Avr=0 和 Bxr=0 


WC 的 零 空间 等 了 4 的 零 空间 与 B 的 零 空间 的 交 ; 


Null(C) = Null(A) N Null(B) 


这 表明 , 若 (tp) xn 矩阵 C 的 秩 为 > = rank(C), WEA AAT AE v1,v2,… ,ea 中 ,与 
nar 个 零 奇 异 值 对 应 的 右 奇 异 向 量 vyo v.42，… Uy 构成 零 空间 的 交 Nall(4)mNull(B) 
的 标准 正 交 基 。 但 是 , 这 涉及 (m +p) x n EE OC 的 奇异 值 分 解 。 

在 奇异 值 分 解 中 ， 总 是 希望 将 一 个 较 大 维 数 的 矩阵 奇异 值 分 解 问题 能 够 分 解 为 两 个 
或 多 个 较 小 维 数 的 奇异 值 分 解 子 问题 。 上面 的 定理 为 计算 Nul(4)nNull( 吾 ) 的 标准 正 交 
基 提 供 了 这 样 一 种 更 加 经 济 的 方法 。 
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定理 9.2.10 $ ACR™*, FH {z1,z2,… ,zt} 是 零 空 间 Null(4) 的 一 组 正 交 基 。 
WZ = jenza ,zi 并 定义 {ww wy} BSB Null(B2Z) 的 一 组 开交 基 , 其 
中 , Be Rx”, HW = [ww wa} J ZW 的 列 向 量 构成 零 空间 的 交 Nul(4)nB 
的 一 纽 正 交 基 。 
证 明 参见 文献 [184, p.583] 。 
给 定 矩阵 4。 和 Boxns 定理 9.2.10 给 出 了 构造 Nul(4)n Nul(B) 的 正 交 基 的 如 
下 方法 : 
0) 计算 矩阵 A 的 奇异 值 分 解 4 = D743AVYX， 判 断 矩阵 A KARE "， 进 而 得 
到 零 空间 Null(A) 的 正 交 基 v.41,7.42,…… Un: 其 中 , ww 是 矩阵 A 的 右 奇 异 向 
E. Z= [orti Vrta Pre 
(2) 计算 矩阵 Coxm_w = BZ 和 它 的 奇异 值 分 解 C = Ugh VG, 判断 其 有 效 秩 
4， 进而 得 到 零 空 间 Nul(B2) ERE wyr Wear Wnr 其 中 ， w, A 
阵 C= BZ 的 右 奇异 向 量 。 令 W = [wi Wgn Wale 
(3) 计算 矩阵 ZW, 其 列 向 量 即 为 零 空 间 的 交 Null(4)m Null(B) 的 正 交 基 (由 于 Z 
和 W 分 别 是 矩阵 4 和 BZ 的 右 奇异 向 量 组 成 的 矩阵 , 故 ZW 具有 正 交 性 )。 


9.3” 子 空间 方法 


前 面 介绍 了 矩阵 的 列 空间 、 行 空间 与 零 空间 。 本 节 讨论 子 空间 分 析 方 法 及 其 在 工程 
和 信号 处 理 中 的 应 用 。 由 于 在 工程 应 用 中 , 多 数 情况 下 使 用 列 空间 , 因此 本 章 今后 将 以 矩 
阵 的 列 空间 作为 主要 讨论 对 象 。 

观测 数据 矩阵 A 不 可 避免 地 存在 观测 误差 或 噪声 。 令 


X=A+W=[x,,2,,---,2,] ECmxn (9.3.1) 


为 观测 数据 矩阵 ， 其 中 ,zw;, e Cmxl。 在 信号 处 理 和 系统 科学 等 领域 中 ,观测 数据 矩阵 的 
列 空间 


Span(X) = Span{a,29,---,,} (9.3.2) 
称 为 观测 数据 空间 。 
9.3.1 ”信号 子 空间 与 噪声 子 空间 
定义 相关 矩阵 
Ry 一 BE{XHEX = E{((A+ WFA + W)} (9.3.3) 


假设 误差 矩阵 W = [ww ,aon] 与 真实 数据 矩阵 A 统计 不 相关 , 则 


Ry =E{XË®X} = E{A"A} + E{W"W} (9.3.4) 
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$ R=E{A"A} 和 EfWHW} = 027 ( 即 各 观测 噪声 相互 统计 不 相关 ,并 且 具 有 相同 的 


FEF 03), W 
Ry =R+021 


令 rank(A) =r, MIRRE R= ELA™ A} 的 特征 值 分 解 


R=UAU4 +020 =U(A+o2.DU" = UNU" 


式 中 
H = E +ogI = diag(a + 0%,.. 02 + On, Gms Fu) 
中 , E= diag(o?,… ,02,0,… ,0), Hof > oj >o > 02 NASB HCH B{A"A) 
的 非 零 特征 值 。 


显然 , 如 果 信 品 比 足够 大 , B o? 比 o2 明显 大 , MEARE N EES Ry 的 前 
"个 大 特征 值 
Ay = of +02, A= itoh ,Mr=02+0% 
称 为 主 特征 值 (principai eigenvalue), 而 将 剩余 的 mn 一 + 个 小 特征 值 


2 2 2 
Arl 5 Tan Ante = Tw, Ae = Ow 


称 为 次 特征 值 (minor eigenvalue). 
OE, AASB Ry 的 特征 值 分 解 即 可 写成 


H 
Rx =(U,,U,] 区 9 | (oa =$2,8"+G2,GH (9.3.5) 


式 中 
def 
SÈ [ss , 87] = [tts Us, Ue 
def 
GS [91,9 20°** > Gnor] = pps Ur gar ,Un] 
,= diag(o + 02,02 + 02,---,02 +02) 
E, = diag(o2, es" * ,0%) 


因此 , mxr HER 5 和 mm xin- r) AER G 分 期 是 与 7 个 主 特征 信和 n -r 个 次 特 
征 值 对 应 的 特征 向 量 构 成 的 矩阵 。 

定义 9.3.1 $ 5 是 与 观测 数据 的 自 相关 矩阵 的 ” 个 大 特征 值 和 ,和 Np,… A, 对 应 的 
特征 向 量 和 矩阵 ， 其 列 空间 Span(S) = Spaniu, t- ,arj 称 为 观测 数据 空间 Spanx) 
的 信号 子 空间 , 而 与 另外 n 一 7 个 次 特征 值 对 应 的 特征 向 量 矩 阵 G 的 列 空间 Span(G) = 
Span{wrp1 Wr+21 ;Wn} 称 为 观测 数据 空间 的 噪声 子 空间 。 

下 面 分 析 信 和 号 子 空间 和 吕 声 子 空间 的 九 何 意义 。 由 子 空间 的 构造 方法 及 丁 和 矩阵 的 特 
AS, 信号 子 空间 与 噪声 子 空间 正 交 , BF 


Span{s1, 82,..° ,er L Span{g1,92,°** ,gn-r} (9.3.6) 
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由 于 U EER, 故 


SH 
UU" = |S, G] [| =89"+ GG" = 了 
即 有 
GG =I- 988° (9.3.7) 
定义 信和 号 子 空间 上 的 投影 矩阵 
P, © S(S, 3S)-1SH = ss (9.3.8) 


RP, 矩阵 内 积 (8,9) = S4S=1. 村 是 ，P,w 可 视 为 向 量 x 在 信号 子 空间 上 的 投影 ， 
而 (I 一 PP,)z 则 代表 向 量 = 在 信号 子 空间 上 的 正 交 投影 。 由 (G,G) = GHG = 工 得 噪声 
子 空间 上 的 投影 矩阵 P, = G{G, G)-1GH = GG", 因此 , ae 


GG? =1-9889"=1-P, (9.3.9) 


称 为 信号 子 空 间 的 正 交 投影 矩阵 。 

子 空 间 应 用 具有 以 下 几 个 特点 685, 

0) 只 需要 少数 几 个 奇异 向 量 或 者 特征 向 量 。 由 于 乍 阵 Ann 的 大 奇异 值 (或 者 特 
征 值 ) 个 数 比 小 奇异 值 (或 者 特征 值 ) 个 数 小 ， 所 以 使 用 维 数 比 较 小 的 信号 子 空 
间 比 噪声 子 空间 更 有 效 。 

(2) 在 很 多 应 用 中 ， 并 不 需要 奇异 值 或 者 特征 值 ， 而 只 需 知道 矩阵 的 秩 以 及 奇异 向 
量 或 者 特征 向 量 即 可 。 

(3) 多 数 情 况 下 ， 并 不 需要 准确 知道 奇异 向 量 或 者 特征 向 量 ， 而 只 需 知道 张 成 信号 
子 空间 或 者 噪声 子 空间 的 基 向 量 即 可 。 


9.3.2” 子 空间 方法 1: 多 重信 号 分 类 (MUSIC) 


下 面 讨 论 如 何 利用 子 空间 进行 多 个 信号 分 类 。 

令 a(t) 是 在 第 t 个 快 拍 观 察 到 的 数据 向 量 ,在 阵列 信号 处 理 和 空间 谱 佑 计 中 , z(t) = 
Exza En (ET 由 个 阵 元 (天 线 或 传感器 ) 的 观测 数据 组 成 。 在 时 域 谱 估计 中 , 向 
E a(t) = [ee et- 1) ,z(t 一 n 一 1)]7 由 连续 的 n 个 观察 数据 样本 组 成 。 

假定 数据 向 量 a(t) 是 > 个 窄带 信号 入 射 到 n 个 阵 元 组 成 的 阵列 的 观察 数据 向 量 或 
者 是 7 个 不 相干 的 复 谐 波 的 登 加 , 即 


a(t) = 》 abatw) + v(t) 


pen 


= As(t) + nit) (9.3.10) 


RP, A= [a(w1),atw2),… alw] 为 确定 性 nx r EAER, ala) = [pe 
go-bedz 为 方向 向 量 或 者 频率 向 量 ; s(t) = [1 (2), st) s OT 为 随机 信号 向 量 , 其 
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均值 为 零 向 量 , 协 方差 矩阵 为 R, = E(t) (t)}; 而 v(t) = et) vlt) un EOT Ad 
eS it, RETA ARE, 它们 具有 零 均 值 和 相同 的 方差 co2。 企 洲 波 恢复 
中 , 参数 w, 为 复 谐 波 的 频率 ; 在 阵列 信号 处 理 中 , w; 是 一 空间 参数 : 


w = an sing, 


式 中 , d 为 相 邻 两 个 阵 元 之 间 的 距离 (假定 阵 元 等 间距 排列 成 一 直线 ), A 为 波长 , H 8; 表 
示 第 i 个 窄带 信号 达到 阵 元 的 入 射 方 向 , 简称 波 达 方向 。 

现在 的 问题 是 : 根据 N 个 快 拍 的 观测 数据 向 量 e(t) (t = 1,2,… N) 估计 7 个 参数 
wi 这 相当 于 对 r 个 混合 信号 进行 分 类 , 简称 多 音信 号 分 类 。 

假定 只 上 声 向 量 w(t) 与 信号 向 量 s(t) 统计 不 相关 ， 并 令 观 测 数据 向 量 的 协 方差 矩阵 
Ros 的 特征 值 分 解 为 


R,, =USU" = [S,G}] ló ar] [óa] (9.3.14) 


AF, SAAT > 个 大 特征 值 , 它们 比 o? 明显 大 。 
考查 a 
RG = (8, 615 [Eu] € =18, a1» [9] -eG 6312) 
XLE Re = APA" +0I A R,,G = 4P4HG + PG, 利用 式 (9.3.12) 的 结果 ， EN 
得 到 ` 
4P4HG =O 
进而 有 
GlaPA"G=0 (9.3.13) 
众所周知 , e8Qe=—0 SERÁ t= 0, 故 式 (9.3.13) 成 立 的 充分 必要 条 件 是 
ANG =O (9.3.14) 


将 A= la ),--- ,a(wp)] 代入 式 (9.3.14), MA 


GHW )G =07, w=w wa ,wp (9.3.15) 


显然 , 当中 天 we ,op HY a (w)G £07. 
将 式 (9.3.15) 改写 成 标量 形式 , 可 以 定义 一 种 类 似 于 功率 谱 的 函数 : 


1 
PW) = aea (9.3.16) 
ERRUA pA w E wwa ,wp 给 出 p 个 信号 的 波 达 方 向 6,6。,… ,9p。 

由 于 式 (9.3.16) 定义 的 函数 Ptw) 描述 了 空间 参数 ( 即 波 达 方向 ) 的 分 布 ， 故常 称 之 
为 空间 谱 。 由 于 它 能 够 对 多 个 空间 信号 进行 识别 ( 即 分 类 ) 故 这 种 方法 称 为 多 重信 号 分 类 
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方法 , 简称 MUSIC (multiple signal classification) 方法 , 它 是 Schmidtl4°4l, Biemvenu 及 
Kopp! T 1979 年 独立 提出 的 。 后 来 ,Schmidt 于 1986 年 重新 发 表 了 他 的 论文 [4071。 
将 式 (9.3.9) 代入 式 (9.3.16), 又 可 得 到 


1 
Pw) = Hi Sona) (9.3.17) 


因为 GG? 和 Ss" 分 别 代表 信和 号 子 空间 和 噪声 子 空间 , 故 式 (9.3.16) 和 式 (9.3.17) 可 分 
别 视 为 噪声 子 空间 方法 和 信号 子 空间 方法 。 
在 实际 应 用 中 , 道 常 将 w Bd) AR PS, 得 到 


w; = nif (9.3.18) 


例如 取 Af = Be = 0.001, 然后 将 每 个 ws 值 代入 式 (0.3.16) 或 式 (0.9.17) 求 出 所 有 峰值 
对 应 的 w 值 。 因 此 ，MUSIC 算法 需要 在 频率 轴 上 进行 全 域 搜索 ,计算 量 比较 大 。 另 外 ， 
执行 MUSIC 算法 县 选择 噪声 子 空间 还 是 信号 子 空间 方式 , 决定 于 G 和 S 中 哪 一 个 具 
有 更 小 的 维 数 。 除了 计算 量 有 所 不 同 外 , 这 两 种 方式 并 没有 本 质 上 的 区 别 。 

为 了 改进 MUSIC 算法 的 性 能 , 已 提出 了 好 几 种 变型 ， 例如 基于 最 大 似 然 法 的 改进 
MUSIC 算法 (97), BAR MUSIC 算法 和 求 根 MUSIC 算法 PO 等 。 有 关 这 些 变型 的 详 
mitit, 可 参考 文献 [524]。 


9.3.3 FREDA 2; 方程 X = AS 求解 
在 许多 工程 问题 中 常常 会 遇 到 上 下面 的 矩阵 方程 : 


X=A5 (9.3.19) 


RP, Xyu 为 复 矩 阵 ， 其 元 素 为 观测 数据 ; MRE Anxa 和 Saxar 均 未 知 。 例如， 
在 阵列 信号 处 理 中 , 矩阵 A 和 S 分 曾 代 表 阵 列 的 响应 矩 阵 和 希望 恢复 的 信号 和 矩阵。 又 
如 , 在 育 信号 分 离 中 , 矩阵 A 和 5 分 别 代表 信号 的 线性 混合 过 程 和 希望 分 离 的 信号 矩 
阵 。 现在 希望 求解 上 述 方程 ,得 到 S. WR: 在 只 已 知 X 的 情况 下 , 能 够 求 出 未 知 算 
阵 S 吗 ? 答案 是 肯定 的 , 但 需要 假定 两 个 条 件 : 矩阵 A 列 满 秩 和 S 行 满 秩 。 这 两 个 假设 
条 件 在 工程 问题 中 往往 是 满足 的 。 例如 , 在 阵列 信号 处 理 中 , 矩阵 A 列 满 秩 意味 着 各 个 
信号 的 波 达 方 向 是 独立 的 , 而 矩阵 S 行 满 序 则 要 求 各 个 信号 是 独 并 发 射 的 。 

BEN 为 数据 长 度 , d 为 源 信号 个 数 ，M 为 传感器 个 数 , 通常 取 M >d N > M. 
定义 数据 矩阵 XX 的 截 尾 奇异 值 分 解 为 


x=Uu5y" (9.3.20) 


ah, 多 是 包含 了 4d 个 主要 奇异 值 的 4 x d 对 角 和 矩阵 。 由 于 Col(A) = Col( 嫌 )， 即 矩阵 A 
和 六 二 者 张 成 同一 个 信号 子 空间 , MA 


Ô= AT (9.3.21) 
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式 中 , 工 是 一 个 dx d 非 奇异 矩阵 。 
QW 是 一 个 dx 复 矩 阵 ， 它 代表 一 神经 网 络 或 者 滤波 器 。 用 W 左 乘 式 (9.3.19), 


得 
WX =WAS 
Sie W 使 得 WA = I4, 则 立即 得 到 方程 式 (9.3.19) 的 解 
S=WX (9.3.22) 
为 了 求 W, 计算 
WU=WAT=T 
立即 有 
w=To" (9.3.23) 
总 结 以 上 讨论 , 可 以 得 到 求解 方程 (9.3.19) 的 以 下 方法 : 
数据 模型 X=AS 
截 尾 SVD x=UEV 
求 # UO = AT BRIT 
方程 的 解 S= (707) x 
由 于 这 种 方法 利用 了 信号 和子 空间 , 故 称 之 为 子 空间 方法 。 
F 面 结合 无 线 通信 的 问题 , 介绍 如 何 使 用 子 空间 方法 求 出 非 奇 异 矩 阵 六 ， 进 而 得 到 


方程 (9.3.19) 的 解 。 
在 不 考虑 无 线 通信 中 的 多 径 传输 的 情况 下 ,方程 (9.3.19) 中 的 矩阵 为 [459 


(9.3.24) 


A= AB (9.3.25) 
式 中 
1 1 oe 1 
b Oy + Oy 
Ag = [a(8,),a(0,).-++ ,a(82)] = : : 
ON-1 oy- vas ot 


B = daig(B Ba, Ba) 


式 中 , 6, 和 6, 分 别 是 第 ; 个 用 户 信号 的 波 达 方向 和 衰减 系数 , 它们 都 是 未 知 的 。 
定义 矩阵 


© = diag(b 02 s 6a) (9.3.26) 
和 (M 一 1) x M 维 选择 矩阵 


Jı = [mx-,0), Jo = [0, Tar-i] 
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CTD SIEM SERS A, 的 上 面 M -140 RE M - 1 行 。 易 知 
(J, Ag) = (J24)9 (9.3.27) 


TH A 
U= AT = ABT (9.3.28) 


选择 矩阵 J, 和 J, 分 别 左 乘 式 (9.3.28)， 并 利用 式 


AT ROSES AEM T, 
(9.3.27), SUZ 

0, = 5,0 = (J, Ag) BT = ABT (9.3.29) 

Ü, = J Ù = (J,A,)BT = A,@BT (9.3.30) 


由 于 B 各 6 MAMA, 故 BB = Be, 从 而 有 


Us= ABOT = ABTT-'OT = U7-!8T 


或 写作 
uit, =T er (9.3.31) 

式 中 , Of = (O70) OP AMM O, Hy LURE, 

由 于 O AAEM, 易 知 式 (0.3.31) 是 一 典型 的 相似 变换 。 Bulk, 通过 对 矩阵 O10, 
进行 相似 变换 ， 邹 可 得 到 非 奇 异 矩 阵 To 

以 上 讨论 可 以 总 结 为 求解 矩阵 方程 X = ABS 的 下 列 算 法 : 

(1) 计算 矩阵 X 的 截 尾 奇 异 值 分 解 X = OL, 

(2) 抽取 矩阵 Ó 的 上 面 M 一 1 行 组 成 站 ,下面 M - 1 474m 0. 

(3) SIME IO, 进行 相似 变换 ， 得 到 非 奇异 矩阵 Po 

(4) 和 矩阵 方程 X = A, BS 的 解 为 


s= (vu7) x 
虽然 上 面 只 是 介绍 了 单 路 径 传输 的 情况 ， 但 起 求解 矩阵 方程 X = AS 的 子 空间 方 
法 也 适用 于 多 径 传输 的 情况 。 不同 的 只 是 矩阵 4 的 形式 不 同 ,从 而 俩 得 求 非 奇异 矩阵 了 
的 方法 也 有 所 不 同 。 限 于 篇 幅 , 这 里 不 再 袭 述 , 有 兴趣 的 读者 可 进一步 参考 文献 [466] 或 
文献 [523, p.365-367]. 、 


9.3.4 FRA 


Faks mx] 随机 向 量 , 具有 和 零 均值 , HIERE C, = EtaaH}。 MR mxm 
协 方差 矩阵 C。 非 麻 异 ， 并 用 不 等 于 单位 矩阵 ， 则 称 随机 向 量 a 为 有 色 (RIEA) 随机 


向 量 。 


620 第 9 章 子 空间 分 析 与 跟踪 


令 协 方差 矩阵 的 特征 值 分 解 为 C。 = VV", HER 


W =VD VVH = 07"? (9.3.32) 


则 变换 结果 
b= Wa=C,a (9.3.33) 


BA ERE EME, 即 有 
C, = E{bb"} = wo, W” = Cr?EfaaHj[CzV3E 一 了 (9.3.34) 


因为 CT? = VDV" 为 Hermitian 矩阵 。 上 式 表明 ,随机 向 量 5 为 标准 白色 随机 向 
E (随机 向 量 的 各 元 素 相互 统计 不 相关 ,并 且 各 方差 均等 于 Do 换言之 , 原来 有 色 的 随机 
向 量 经 过 线性 变换 Wa 之 后 , 变 成 了 白色 随机 向 量 。 线 性 变换 矩阵 W = OF)? RAR 
机 向 量 a 的 白化 矩阵 。 

然而 ， 若 m x m PARE C。 奇异 或 者 秩 亏 缺 , 例 如 rank(C。 =n < m， 则 
不 存在 使 WCW" = 了 工 的 白化 矩阵 WW。 此 时 ,应 该 考虑 在 秩 空 间 V = Range(C。) = 
Col(G。) 上 使 随机 向 量 a 白化。 这 一 白化 称 为 子 空间 白化 (subspace whitening), 是 Eldar 
和 Opeenheim 于 2003 年 提出 的 P49 。 

若 秩 气 缺 的 协 方差 第 阵 C。 的 特征 值 分 解 为 


D 0 vi 
Ca = [V V; nxn x(n | H 9.3.35 
a = [Vn Va] love. Oon—n)x(m—n)| | VE ( ) 


并 令 
w =V, D "yE (9.3.36) 
则 易 知 线性 变换 结果 
b=Wa =V, D "Via (9.3.37) 
的 协 方差 矩阵 


C, = E{bb"} = WC, W" 
= ViD-VaVvEIVv va le 引 [ve VD-U2TE 
morals JPS- 9 
Bl b= Wa 是 在 子 空间 Range(C,) 内 的 白色 随机 向 量 。 因此 , BK W =V, D 12VY 为 子 


空间 白化 矩阵 。 关 于 子 空 间 白 化 及 其 具体 实现 ， 读 者 可 进一步 参考 文献 [145]。 文献 [146] 
将 子 空间 白化 应 用 于 信号 检测 ,提出 了 基于 正 交 和 投影 正 交 匹配 滤波 器 的 检测 方法 。 
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9.4 。 子 空间 跟踪 方法 的 分 类 


对 一 个 极端 (最 大 成 最 小 ) 特征 对 (特征 值 与 特征 向 量 ) 进行 选 代 计 算 最 早 可 以 追溯 
到 1966 年 59。 时 隔 十 几 年 后 ，Thompson 于 1980 年 提出 了 估计 与 样本 协 方差 矩阵 最 小 
特征 值 相 对 应 的 特征 向 量 的 最 小 均 方 (LMS) 型 自 适应 方法 ， 并 结合 Pisarenko 谱 估 计 子 
提供 了 角度 /频率 的 自 适应 跟踪 算法 42, Sarkar 等 人 [407] 应 用 共 辆 梯度 法 ,对 与 慢 时 变 
信和 号 协 方 差 矩 阵 的 最 小 特征 值 相对 应 的 极端 特征 向 量 的 变化 进行 跟踪 ， 并 证 明 他 们 的 方 
法 比 Thompson 的 LMS 方法 收 合 快 得 多 。 这 些 方法 只 跟踪 单个 极端 特征 值 和 特征 向 量 ， 
虽然 应 用 有 限 , 但 是 后 来 被 推广 成 了 特征 子 空间 的 跟踪 和 更 新 方法 。1990 E, Comon 与 
Golub!) 提出 了 跟踪 奇异 值 和 奇异 向 量 的 极端 对 的 Lanczos 方法 。Lanczos 方法 原 是 解 
决 某 些 大 的 、 稀 疏 的 对 称 特征 问题 Aa = rx 的 一 种 常用 方法 tad 。 

最 早 的 特征 值 和 特征 向 量 更 新 方法 是 由 Golub 于 1973 年 提出 的 [801。 后来，Golub 
的 更 新 思想 被 Bunch 和 他 的 同事 加 以 扩展 (6hl661。 推 /方法 的 基本 思想 就 是 在 每 次 秩 
1 修正 后 殉 新 协 方差 矩阵 的 特征 值 分 解 : 然后 利用 交织 定理 (interlacing theorem) XE 
阵 的 特征 根 定位 ， 用 和 迭代 求 根 方法 更 新 特征 根 的 位 置 ， 继而 更 新 特征 向 量 。 在 文献 [408] 
tH, Schreiber 引入 一 种 变换 , 将 大 部 分 的 复数 算术 运算 变 成 实数 运算 ， 并 使 用 Karasalo 
的 子 空间 平均 方法 45) 进一步 减少 运算 量 。DeGroat 与 Roberts 发 展 了 一 种 基于 两 两 
Gram-Schmidt 正 交 化 的 数值 稳定 的 秩 1 特征 结构 更 新 方法 H. Yu 则 在 文献 [496] 中 将 
秩 1 特征 结构 更 新 推广 到 了 块 更 新 问题 。 

最 早 的 自 适 应 信号 子 空间 跟踪 方法 由 Dwsley 十 1978 年 提出 Ba7l。Yang 与 Kaveh 
利用 随机 梯度 法 提出 了 一 种 LMS 型 子 空 间 跟 踪 算法 , 推广 了 Owsley 的 方法 和 Thompson 
的 方法 。 这 种 LMS 型 算法 具有 高 并 行 结构 和 低 计算 复杂 度 。Karhunen (245) 则 通过 发 展 
一 种 子 空间 计算 的 随机 逼近 法 推广 了 Owsley 的 思想 。 

nij Yang 与 Kaveh 推广 Thompson 思想 以 发 展 LMS 型 子 空间 跟踪 算法 一 样 ，Fy 
与 Dowling neol 推广 Sarkar 等 人 的 想法 , 发 展 了 一 种 基于 共 斩 梯度 的 子 空间 跟踪 算法 。 

近 二 十 多 年 , 特征 子 空间 的 跟踪 与 更 新 成 了 一 个 非常 活跃 的 研究 领域 。 由 于 子 空间 
跟踪 主要 用 于 实时 信号 处 理 ， 所 以 要 求 它们 应 该 是 快速 算法 。 快 速算 法 至 少 应 该 考虑 到 
以 下 因素 ; 

(2) n 时 刻 的 子 空间 可 以 通过 更 新 ”- 1 时 刻 的 子 空间 获得 。 

(2) n 一 1 时 刻 到 ”时刻 的 协 方差 矩阵 的 变化 应 该 尽 可 能 是 低 秩 变 化 (最 好 起 秩 1 变 
化 或 秩 2 变化 )。 

(3) 只 需要 跟踪 低 维 子 空间 。 

特征 子 空间 跟踪 与 更 新 方法 可 以 分 为 以 下 四 大 类 。 
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在 一 些 特征 子 空间 方法 (如 MUSIC) 的 应 用 中 ， 只 需要 使 用 噪 卢 子 空间 特征 向 量 的 
焉 交 基 ， 而 无 需 使 用 特征 向 量 本 身 。 这 一 特点 可 以 简化 一 类 特征 子 空间 的 白 适 应 跟踪 问 
题 。 我 们 把 这 种 只 跟踪 噪声 子 空间 的 正 交 基 的 方法 归 为 第 一 类 , 它们 分 别 基 于 拢 阵 的 秩 
显露 URV 分 解 sa 和 秩 显露 QR 分 解 Ml, 

在 同时 解决 特征 值 和 特征 子 空间 一 者 的 跟踪 或 更 新 问题 的 方法 中 ,第 二 类 方法 的 共 
同 视线 是 把 非 平 稳 信 号 在 k 时 刻 的 协 方差 矩阵 看 作 是 & — 1 时 刻 的 协 方差 矩阵 与 另外 一 
个 秩 等 于 1 的 矩阵 ( 它 是 观测 向 量 的 共 辆 转 蜂 与 其 本 身 的 乘积 ) 之 和 。 因此, 协 方差 矩阵 
的 特征 值 分 解 的 跟踪 与 所 谓 的 秋 1 更 新 密切 相关 。 文 献 [496] 和 文献 [74] 是 这 类 方法 的 
两 个 典型 代表 , 其 中 , 文献 [74] 的 方法 将 秋 1 更 新 与 一 阶 扰动 问题 联系 起 米 , 文献 [496] 
的 方法 则 包含 了 基于 秩 1 和 秩 2 修正 的 修正 特征 值 分 解 的 递 推 更 新 。 

第 三 类 方法 则 将 特征 子 空间 的 确定 当 作 一 个 最 优化 问题 米 求解 : 一 种 是 约束 最 优化 

WE, 另 一 种 是 无 约束 最 优化 问题 ,约束 最 优化 问题 可 以 利用 随机 梯度 法 490) 和 共 轿 梯 
度 法 [169 来 求解 。 无 约束 最 优化 对 特征 子 空间 提出 了 一 种 新 的 解释 ， 相 应 的 方法 称 为 投 
影 逼近 子 空间 跟踪 sg 。 这 类 方法 的 另 一 典型 代表 以 Lanczos 算法 为 基础 。 利 用 Lanczos 
型 欠 代 和 随机 逼近 的 概念， 可 以 进行 时 变数 据 和 矩阵 的 子 空间 计算 OU, Xu 等 人 在 文献 
[482] 和 [483] 中 分 别提 出 了 三 Lanczos 和 双 Lanczos 子 空间 跟踪 算法 ; 前 者 适用 于 协 方 
差 矩 阵 的 特征 值 分 解 ， 后 者 针对 数据 矩阵 的 奇异 值 分 解 ; 而 且 , 在 Lanczos 递 推 过 程 中 还 
能 够 对 主 特征 值 和 主 奇异 值 的 个 数 进 行 检验 估计 。 由 于 Lanczos 算法 与 共 辆 梯度 法 有 密 
切 的 数学 联系 n84， 所 以 这 种 方法 虽然 与 最 优化 问题 无 直接 联系 ,但 仍 可 归属 为 第 二 类 
方法 。 
第 四 类 方法 将 经 典 的 特征 值 分 解 /奇异 值 分 解 的 批 处 理 方法 (如 QR 分 解 算法 、Jacobi 
TE. FERS) 加 以 修正 和 推广 ,使 之 成 为 自 适应 的 方法 。 例如， 基于 QR 更 新 和 
Jacobi 型 方法 的 奇异 值 分 解 更 新 算法 P, 

从 下 节 起 , 将 依次 介绍 几 种 具有 代表 性 的 子 空间 跟踪 方法 。 


95 ”基于 扰动 理论 的 子 空间 跟踪 


基于 特征 问题 的 秩 1 更 新 方法 由 Golub L8 于 1973 年 提出 。 随 后 , Bunch 等 人 laal 
于 1978 年 对 这 一 方法 加 以 改进 。 

另外 一 方面 ,在 秋 1 更 新 方法 提出 的 前 几 年 , Rellich 在 他 的 著作 中 就 已 系统 地 介绍 
了 特征 问题 的 扰动 理论 99。 物理 学 家 Sakurai 则 在 1980 年 代 中 期 , 将 扰动 理论 应 用 于 
量子 力学 确定 扰动 对 能 量 特征 值 的 影响 。1994 4E, Champagne 14 应 用 无 退化 扰动 理论 ， 
建立 了 秩 1 更 新 与 扰动 之 间 的 关系 , 并 提出 了 基于 一 阶 扰动 的 特征 值 和 特征 子 空间 的 跟 
踪 方 法 。2000 年 ，Oates 9) 将 退化 扰动 理论 应 用 于 半空 间 跟 踪 , 推广 了 Champagne 的 


研究 成 果 。 
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9.5.1 il 更 新 与 扰动 理论 
考虑 下 列 具 有 代表 性 的 数学 模型 : 


zk) = A(k)s(k) + n(k) (9.5.1) 


» A(k) A Lx M SERB; s(k) 是 M x 1 信号 向 量 ; sz(k) 为 工 x 观测 数据 向 量 , 而 
nh) 为 三 xl 加 性 白 噪 声 向 量 ， 各 个 白 唉 声 分 量具 有 相同 的 随时 间 变 化 的 方差 a2(k)。 
ue a(k) 和 x(k) 是 非 平稳 的 随机 过 程 ， 分 别 具 有 随时 间 变 化 的 M x M 协 方差 矩阵 

C,(k) = E{a(k)s"(k)} Al Lx L WEI Clk) = EE{z(k)wH(k)}。 直接 计算 知 , 协 方差 
HEEN 


C(k) = A(K)O,(R)A™(k) + o2 Ty, (9.5.2) 
假定 只 有 K 个 观测 数据 向 量 z(k) (k = 1, 2 … ,五 ) 可 以 利用 ,并 且 样 本 协 方差 矩阵 

由 i 1 & 
C= 至 Dz(k)eu(k) (9.5.3) 

k=l 


估计 。 在 实际 中 , 常 利用 下 面 的 递 推 公式 更 新 样本 协 方差 矩阵 : 
Ok) = oO(k — 1) + (1 — a)a(h)a™(h) (9.5.4) 


ay a 是 一 个 实 的 平滑 因子 , 满足 0 < a < 1。 上 式 称 为 样本 协 方差 矩阵 的 秩 1 更 新 ， 

等 价 于 x(k)wH(k) 的 指数 时 间 平 均 。 因 子 1/(1 -- a) 提供 了 指数 窗 有 效 长 度 的 一 个 粗 
mit. 

有 趣 的 是 , 很 容易 将 秩 1 更 新 与 扰动 问题 联系 起 来 。 为 了 看 出 这 一 点 ， 将 式 (0.5.4) 
改写 作 

Ĉ(k) = Ĉ(k — 1) + ela(k)a™ (k) - Ĉ(k — 1)] (9.5.5) 

tH, e = 1 一 a,0 < < 1。 对 于 足够 小 的 6, 3 (9.5.5) 中 的 修正 项 elw(k)wH(k) 一 Ck 一 1)] 
可 以 解释 为 (k 一 1) 的 一 扰动 项 。 下面 再 进一步 将 C(k) 的 特征 值 分 解 与 k- 1) 的 特 
征 值 分 解 遂 过 这 一 扰动 项 联系 起 来 。 

首先 注意 到 , 式 (9.5.5) 中 的 Clk) 是 < URDU, 并 且 当 = 一 0 时 Ck) 收敛 
为 Ĉ(k-1) 假定 C(O) Æ Hermitian 矩阵 ， 由 式 (9.5.5) 知 ， 对 所 有 正 整 数 k 和 所 有 实 
We WA, C(k) 均 为 Hermitan 矩阵 。 

根据 Hermitian 矩阵 扰动 理论 的 基本 定理 B 知 , (k) 的 特征 值 与 归 一 化 的 特征 向 
量 也 可 以 用 e 的 第 级 数 展开 , FFL <e 一 0 时, 它们 将 分 别 收敛 为 C(k — 1) 的 特征 值 和 
特征 向 量 。 下 面 用 数学 公式 更 确切 地 叙述 这 一 基本 定理 的 涵义 。 令 A,(k) 和 wi(k) 分 别 表 
AR (9.5.5) 中 的 样本 协 方差 矩阵 Clk) 的 特征 值 和 特征 向 量 ， 即 


E(k), (k) = (Ba (9.5.6) 
(kyu; (k) = bij (9.5.7) 
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RP, dy 为 Kronecker 6 负数 。 根据 文 献 [38 引 第 1 章 的 定理 1, FERRE 


Age) = No + AWE FARE + Xo = A(R 1) (9.5.8) 
U, (k) = Ug tune + Ue te, Wio= wlk— 1) (9.5.9) 


它们 均 在 e = 0 的 邻 域内 收敛 上 述 两 式 分 别 满足 式 (9.5.6) 和 式 (9.5.7)。 人 在 式 (9.5.8) 和 
式 (9.5.9) P, Ap =A (k — 1) Al uo = tk 一 1 分别 是 E- 1) ROE ARE 
向 量 , 而 hy 和 wijG > 1) 是 待定 的 未 知 系数 。 

无 论 是 否 有 多 重 特征 值 , 式 (9.5.8) 和 式 (9.5.9) 都 是 成 立 的 。 下 面 分 两 种 情况 讨论 如 
何 利用 扰动 理论 进行 子 空 间 的 跟踪 ， 

1) 协 方 差 矩阵 C(k) 不 存在 任何 多 重 的 特征 值 , 称 为 无 退化 特征 值 情 况 。 此 时 , 基于 
扰动 理论 的 子 空间 跟踪 称 为 无 退化 扰动 子 空间 跟踪 (nondegenerate perturbation 
subspace tracking). 

(2) PAE ETES ERRE, 称 为 退化 特征 值 情况 。 在 这 种 情况 下 , 基于 扰动 
理论 的 了 空间 跟踪 称 为 退化 扰动 子 空间 跟踪 (degenerate perturbation subspace 
tracking). 

在 实际 中 , 式 (9.5.8) 和 式 (9.5.9) 一 类 的 扰动 级 数 需要 截 尾 , MERIR EE AE 
近 公式 , 特别 地 , 对 于 一 正 整 数 mn， 可 以 道 过 省 略 掉 所 有 m{> n) 阶 的 扰动 项 em BS n 
BEL. 使 用 n 阶 通 近 的 扰动 级 数 的 理论 称 为 阶 扰动 理论 。 这 类 逼近 的 理论 基础 是 扰 
动 级 数 在 e = 0 的 某 个 邻 域 收敛 。 因 此 ,如果 e 足够 小 , 则 低 阶 逼近 可 以 用 来 计算 Ak) 
和 u,(k)» 并 且 有 很 好 的 精度 。 

在 子 空间 跟踪 中 , 最 常用 的 扰动 理论 有 两 种 : 

(1) 一 阶 扰动 理论 (first-oredr perturbation theory): 使 用 


A(R = Ag tA Aw = Alk - 1) (9.5.10) 
i(k) = Vig + Uae tig = vilk — 1) (9.5.11) 
更 新 特征 对 。 
(2) 二 阶 扰动 理论 (second-order perturbation theory): 使 
AlE) = Aio + Ane + Aine”, Xo = Xk — 1) (9.5.12) 
wi(k) = tig + hye + tae, ty = ulk —1) (9.5.13) 


更 新 特征 对 。 
一 般 说 来 , 在 无 进化 扰动 子 空间 跟踪 中 , 只 使 用 一 阶 扰动 理论 , 即 可 获得 子 空间 的 满 
意 跟 踪 ; 而 在 退化 扰动 子 空间 跟踪 中 , 仅 采 用 一 阶 扰动 理论 是 不 够 的 , 需要 使 用 二 阶 扰动 
理论 , 以 便 改善 子 空间 的 跟 迪 结果 。 
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9.5.2 ”无 退化 扰动 子 空间 跟踪 

下 面 讨论 如 何 运 用 一 阶 扰动 递 推 更 新 公式 (9.5.10) 和 (9.5.11), 获得 样本 协 方差 矩阵 
C(k) 的 特征 值 分 解 。 首 先 推导 式 (9.5.10) RIR (9.5.12) 中 的 一 阶 扰动 系数 Ay 和 一 阶 扰 
动向 量 ua 的 基本 方程 组 。 为 简化 符号 , > 


Cy = Ck—1) (9.5.14) 
C, = 2(k)e" (x) - Ĉ(k — 1) (9.5.15) 

于 是 , 式 (9.5.5) 可 以 表示 为 
O(k) =Cyte€, (9.5.16) 


在 下 面 的 推导 中 ,暂时 假定 零 阶 系数 Ao = Alk- 1) 和 wio = ulk- 1) 分 别 是 Co = 
Ck — 1) 的 精确 特征 值 和 特征 向 量 。 
将 式 (9.5.8), 式 (9.5.9) 和 式 (9.5.16) 一 起 代入 式 (9.5.6), WA 
Cotto + (Cown + Cy tiple = hous0 + Mou + Mtio)e + OC?) (9.5.17) 


其 中 , O(c?) 表示 数量 级 e? 的 项 。 由 于 式 (9.5.17) 对 e = 0 的 邻 域内 的 所 有 c 成 立 , Bee 
的 对 应 宪 项 必然 相等 ， 这 就 给 出 结果 

Cotta = Nouio (9.5.18) 

Oous + C1 tig = Noi + Air Mio (9.5.19) 

sk (9.5.19) 可 以 用 一 种 更 加 方便 的 形式 表示 ， 方 法 是 将 它 投影 到 正 交 基 向 量 uol = 


1,2,---,L) Eo 用 ul, Hex (9.5.19)， 并 观察 由 式 (9.5.18) 有 uC, = Agu, WE 
再 利用 集合 {to,1 = 1,2,---, L) 的 正 交 性 , 即 可 得 到 


Ay = uh Ciun (9.5.20) 


这 就 是 直接 确定 入, 的 公式 。 
类 似 地 , 用 uhi A i) ERR (9.5.19) 得 到 


Ajo — Mo) ulus = -uC tio 7 xt (9.5.21) 


将 式 (9.5.9) 代入 式 (9.5.7), 并 令 = 的 对 应 军 相 等 ， 则 得 到 另 一 结果 : 


ao 十 ues =0 (9.5.22) 


由 式 (9.5.21) 和 式 (9.5.22) 可 得 到 


bj = uhun (9.5.23) 
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RP, bp 是 ui HÆRE (up, = 1,2,---,L} 展开 时 的 展开 系数 。 因此， 一旦 系数 b; 
求 出 , M ua 即 可 利用 重 构 公式 


L 
ther =) bjittjo (9.5.24) 
jal 
获得 。 
令 无 扰动 的 特征 值 Xio 按 递减 顺序 排列 : 


Mo > Ago > > Azo (9.5.25) 


将 式 (9.5.14) ASK (9.5.15) 代入 式 (9.5.20)， 并 使 用 式 (9.5.18) 及 无 扰动 特征 向 量 的 正 交 


性 , 则 有 
àn = bal? — Aso (9.5.26) 


式 中 


ys = welk) (9.5.27) 
是 数据 向 量 z(k) 企 无 扰动 特征 向 量 vo 上 的 正 交 投影 系数 。 , 
与 式 (9.5.22) 的 处 理 相 类 似 ， 并 注意 到 在 式 (9.5.25) 的 假定 下 Xjo — Xio A OG # i) 
则 由 式 (9.5.21) 得 


by = bY = Dien)" j#i (9.5.28) 
这 一 结果 与 式 (9.5.22) 一 致 。 剩 余 的 系数 ba 可 以 这 样 来 求 : 当 j= i 时, 式 (9.5.22) 简化 
为 Re(54) = 0, 这 里 ，Re(-) 和 Im(-) 分 别 表示 一 系数 的 实 部 和 虚 部 。 由 于 没有 任何 其 他 
的 假定 ， 故 Im(Bs) 可 以 任意 选择 。 最 简单 的 选择 是 Imby) = 0， 从 而 有 


bj, = 0 (9.5.29) 


根据 式 (9.5.23) 知 , 式 (9.5.29) 意味 着 t, 与 相应 的 特征 向 量 wa 正 交 。 
借助 观测 数据 向 量 z(k) 以 及 无 扰动 的 特征 值 分 解 Aio = Alk — 1) 和 wio = wlk- 
1),4=1,2,--- , Ls 式 (9.5.26)~ IÈ (9.5.29) 连同 式 (9.5.24) 一 起 清晰 地 定义 了 一 阶 扰动 系 
Hd. 和 一 阶 扰动 向 量 wo 。 
算法 9.5.1 (无 退化 特征 值 情况 的 白 适应 特征 什 分 解 算法 )[4 
(有 — fex(k) 
for i=1 to L: 
n= ull(k — alk) 
m=i (ye 现在 是 实 的 ) 
uk — 1) — (n/y,judk~- 1) 
end for 


for t=1to L: 
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by =0 
for j=it+ltoL: 
bi = wayy/ max(4A,(ke — 1), A (k — 1) — Aye - DD} 
bb = Oy 
end for 
end for 
fori=1 to L; 
Adk) = (1 AC - 1) +4? 


a(k) = i(k — 1) + 去 put -9 
& 
wb) (kh 


end for 


下 面 介绍 无 退化 扰动 子 空间 跟踪 的 另 一 种 表示 方法 。 定义 
VR) = C(k) — C(k —1) 


是 协 方差 矩阵 相 邻 时 刻 的 变化 。 当 C(k) 为 料 本 协 方差 矩阵 时 ， 称 V(n) 为 协 方差 矩阵 估 


计 的 误差 矩阵 。 显然, 样本 协 方差 矩阵 的 特征 值 和 特征 向 量 都 会 
产生 扰动 。 定 义 特征 向 量 的 扰动 矩阵 A 的 元 素 为 


Avy (k) = ube — YV(k)us(kK-1), #,5=1,2,-- 


TE, 一 阶 非 退 化 扰动 理论 使 用 递 推 公式 608,169] 
Ak) = A;(k = 1) + Anlk) t= 1,2,---,0 


ui(k) = m(k-1) +J pulkjulk-1) i=1,2,... 
lži 


更 新 特征 值 和 特征 向 量 , Ab 


1, l=i 


Pu(k) = Anlk) ; 
' prea ži 


对 于 二 阶 非 退 化 扰动 理论 , 特征 值 和 特征 向 量 的 更 新 公式 为 B9 引 389 


láy (k)i? 


Ak) = Alk — 1) + Au (k) + 2 WED AE 


U(k) = Uk — 1) E(k) 


为 误差 矩阵 的 存在 而 
+L (9.5.30) 
(9.5.31) 

Lb (9.5.32) 
(9.5.33) 


(9.5.34) 


(9.5.35) 


RF, U (a) = [ray (k), wa(k), «+>, my, (K)] FERRE TE A EE, 而 矩阵 Elk) 的 


元 素 为 


1, 
= . (9.5.36 
Fu ote FAs -aant igi 0588) 
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RP, p(k) AX (9.5.33) 定义 , 并 月 4,i=1,2,.…,L。 

无 论 起 一 阶 扰动 理论 下 的 更 新 公式 (9.5.33), 还 是 =- 阶 扰动 理论 下 的 更 新 公式 (9.5.34) 
和 (9.5.36), 都 包含 两 个 特征 值 之 差 入 {k 一 1) -A,(k~- 1) 的 除法 。 显然 , 如 果 有 任意 两 个 
特征 值 相同 或 者 接近 , 则 这 些 更 新 公式 将 是 数值 不 稳定 的 。 在 这 类 情况 上 ,需要 考虑 使 用 
针对 退化 特征 值 情 况 专 门 设 计 的 退化 扰动 子 空间 跟踪 方法 。 


9.5.3 ”退化 扰动 子 空间 跟踪 


退化 特征 值 有 两 种 常见 的 情况 。 一 种 是 菜 些 特征 值 近 似 相 等 ， 称 为 近似 退化 (near 
degeneracy); 另外 一 种 起 某 些 特 征 值 完全 相等 , 称 为 完全 退化 (exact degeneracy). 尽管 在 
某 些 情况 下 ,观测 数据 向 芋 的 理想 协 方 差 窍 阵 可 能 存在 某 些 完全 相等 的 信号 特征 值 ， 但 
由 于 合计 误差 的 影响 , 表现 在 样本 协 方差 矩阵 , 则 为 近似 相等 的 特征 值 , 即 属 于 近似 退化 
情况 。 另 外 一 方面 , 在 假定 各 个 加 性 噪声 分 量 统计 不 相关 、 并 且 具 有 相同 方差 的 情况 卜 ， 
通常 需要 采用 Karasalo 的 子 空间 平均 04, 将 样本 协 方 差 矩 阵 的 小 特征 值 的 平均 值 作为 
ERMEE (噪声 功率 ) 的 估计 和 值 。 因 此 ， 这 是 一 种 完全 退化 的 情况 。 从 这 些 讨论 中 ,可 
以 得 出 结论 : 在 信号 子 空间 的 跟踪 中 , 需要 考虑 完全 退化 或 者 近似 退化 的 特征 值 , 而 在 品 
声 子 空间 的 跟踪 里 ,， 则 只 考虑 完全 退化 的 特征 值 。 

以 噪声 子 空间 的 退化 为 例 。 假 定 需要 对 角 化 矩阵 


z 0 án A 
Z(k—-1)+ A(k) = [a BA + (au 好 | (9.5.37) 


式 中 , Dy ARE, 其 对 角 元 素 为 样本 协 方差 矩阵 在 &-1 时 刻 的 特征 值 ; 0? = oa?(k 一 1) 
是 有 一 1 时 刻 的 噪声 特征 值 估计 ;， 4, 表示 由 一 1 时 刻 的 特征 向 量 wu, (A 1), wo(k 一 
1),… ,WL(k — 1) ( 即 基 向 量 ) 引起 的 对 k 时 刻 特 征 值 的 分 块 扰动 矩阵 。 

上 上 述 完 全 退化 的 特征 值 可 以 变 成 -个 无 退化 的 问题 ， 


E(k —1)+ Alk) = E(k — 1) + A(R) 
x o Au A 
= Gs PIS An) + (au o] (9.5.38) 
显然 , EME Di- 1) 的 噪声 子 空间 部 分 不 再 存在 退化 特征 值 , BE eH E 
阵 En STS. 
现在 ， 原 退化 噪声 子 空间 变 成 了 无 退化 噪声 子 空间 ,噪声 特征 值 的 跟踪 问题 也 变 成 
THER 号 (k& 一 1) 的 对 角 化 问题 。 选择 西 变换 


E(k) = lo | (9.5.39) 


9.5 


使 得 


为 对 
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E(k- 1) = BF (kb) (k — 1)E(k) 
|B o 
E [o EM (ko? E+ Ane] 
= [3 S) {9.5.40) 
FAEERE. 


下 面 是 针对 近似 退化 情况 的 噪声 子 空间 跟踪 算法 。 
算法 9.5-2 (噪声 子 空 间 的 特征 值 分 解 算法 )r4 
a(k) ~ Jéx(k) 
for i=1 toM: 

n= uy (k — 1)e(k) 

n=l) (v 现在 是 实 的 ) 

walk — 1) — (7/3), (k — 1) 
end for 


M 
2, = a(k) — Syme ~1) 


Yma = enll 
erga — 1) = Bp /Ym 
for i=1ltoM+1: 
by, =0 
forj =it+titoM+1: 
bjs = wayj/ max(5d,(b — D, Ak — 1) — NCE 1) 
bi = bye 
end for 
end for 
fori=1 to M: 


ak) =U AR) 4+ 
M+1 
w= uk D+ D brsth—D) 
= 
wk) — ukk) /lw 
end for 
Ampi (h) = plk) = (1 — p(k — 1) + they /(L ~ M) 
最 近 , Oates 提出 了 基于 退化 扰动 理论 的 信号 子 空间 跟踪 算法 B, 它 适用 于 存在 完 


全 退化 和 近似 退化 的 信号 特征 对 的 跟踪 。 
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9.6 ”修正 特征 值 分 解 及 其 递 推 更 新 


更 新 协 方差 矩阵 的 最 常用 方法 是 式 (9.5.4) 所 示 的 秩 1 更 新 , 我 们 把 它 重 写 如 下 : 
A (b) = ph(k-1)+(1—p)a(Re (Ry) (9.6.1) 


然而 , 这 种 指数 加 窗 的 方法 有 几 个 缺点 : 旧 的 数据 的 影响 会 持续 很 长 时 间 , 指数 遗忘 因子 
u 必须 预先 选择 。 

现在 考 虐 使 用 清 动 窗 的 更 新 方法 。 这 类 似 于 短 时 Fourier 变换 的 做 法 , 该 变换 把 窗口 
内 的 非 平稳 信号 视 为 平稳 信号 。 具 体 说 来 , 对 数据 矩阵 加 上 一 行 和 从 数据 矩阵 减 去 一 行 
对 应 十 下面 的 协 方差 矩阵 的 秩 2 更 新 问题 : 


R,(k) = Blk ~ 1) + a(kja" (k) -GE)BHCR) (9.6.2) 


其 中 , a(k) 十 要 加 上 的 数据 向 量 , 而 8(k) 是 要 删 去 的 数据 向 量 。 这 种 由 两 个 秩 1 更 新 组 
成 的 更 新 称 为 秩 2 更 新 ， 是 由 DeGroat 与 Roberts 013 给 出 的 。 


9.6.1 ”修正 特征 值 问题 
所 谓 修正 特征 值 问题 就 是 在 已 知 原 Hermitian 矩阵 的 特征 对 (特征 值 与 特征 向 量 ) 的 


情况 下 计算 修正 之 后 的 Hermitian 矩阵 的 特征 对 。 更 一 般 地 , 我 们 来 考虑 下 列 加 性 修正 : 


R=RLE (9.6.3) 


中 , RARE CON 分 别 是 原来 的 和 修正 后 的 协 方差 矩阵 ， 且 E 为 修正 矩阵 (在 最 
简单 的 情况 下 它 包 括 了 增加 和 删 去 的 数据 向 量 对 应 的 两 个 秩 1 矩阵 )。 称 由 R 的 特征 对 
R R= R+ E PRERA AER (updating) 并 称 求 R= RE 的 特征 对 的 
计算 问题 为 复 旧 (downdating). 注意 , 矩阵 R, È 和 E 均 是 Hermitian PE; 而 且 修正 矩 
阵 吾 一 般 是 不 定 的 , 即 它 可 能 具有 负 的 特征 值 { 正 的 特征 值 对 应 更 新 ， 负 的 特征 值 对 应 
SIA). 假定 ERK, 其中, ke MENT N. HT E 是 Hermitian 的 , 所 以 它 具 有 


下 列 加 权 外 积 展开 : 


E=USUN (9.6.4) 
AP, U e CNxk 和 5 e RF 为 非 奇 异 矩阵 。 例 如 , 式 (9.6.4) 可 以 求 作 E 的 特征 值 和 
特征 向 量 展开 , OP, SEMA, 其 对 角 线 元 素 为 特 和 外 值 : U 则 是 对 应 的 正 交 特征 向 
量 矩 阵 。 另 一 个 例子 是 E 的 分 解 真 接 用 数据 来 表示 。 此 时 , S 的 对 角 线 元 素 等 于 1 或 -1 
(对 应 于 更 新 或 复 旧 ), U 是 具有 相应 数据 向 量 的 矩阵 , HHU 不 是 正 交 的 。 还 假定 RY 
特征 值 分 解 如 下 ; 


R=QDqQ® (9.6.5) 
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其 中 , D e RN*N, Q e CN*N, D ~ diag(dy, dz, ++ ,dw) RARE EBM, Q = [g,,g2,… ,qn] 
是 对 应 的 特征 向 生年 阵 。 注意 QQ™ = QUQ = 1. 现在 的 问题 是 求 修正 的 特征 值 与 特征 
A. 如 果 令 Oo) 是 RRM, WA 


(R-ADa =0 (9.6.6) 


特征 值 A ED ATH RE 
det(R — MI) =0 (9.6.7) 


得 出 。 将 式 (9.6.3) 中 的 È AIR (9.6.4) 中 的 E 代入 式 (9.6.6) 得 到 


(R -ADe +USU"g = 0 (9.6.8) 


BK GEMEREK AAT, 即 可 由 上 上 式 得 到 下 列 方程 组 ; 


(R-M)æ+Uy=0 (9.6.9) 
Uzr- Sy =0 (9.6.10) 


从 式 (9.6.9) 解 出 =， 并 将 它 代入 式 (9.6.10) 得 到 


Waw =0 (9.6.11) 
其 中 
WO) =S7+U"(R- AD OU (9.6.12) 
EE WA) TAPARA FRERE M(A) 中 R- AI f Schur # 1184), 
MQ) = [or =| (9.6.13) 


W(A) 称 为 Weinstein-Aronszajn FER. 修正 特征 值 现在 可 以 通过 求解 det[W (XA)] = 0 得 
到 。 事实 上 , 和 是 兔 的 特征 值 即 Xe A(R), 当 且 仅 当 入 是 det[W (3)] = 0 的 解 。 由 此 得 到 


det[M{A)] 
acs) (9.6.14) 


AT SATB, 所 以 det — AD) = 0 将 意味 着 det[M(A)] = 0。 另 一 方面 , det[M(X)| 可 以 
表示 为 det[M (A)] = (—1}" det(R — AI) det [WA], ATA 


det(R — AF) = 


N 
JIA -X 

det(W()] = (-1)* ae = (De (9.6.15) 
I~- 


证 1 


其 中 , 3, © A(R), A E ACR). 因此 , OO) IO) 分别 是 有 理 多 项 式 det[W (和 )] 的 零点 和 
极点 。 注 意 ， 上 述 推导 只 适用 于 RA R 的 特征 值 各 异 的 情况 。 事实 上 , 当 和 与 R A 
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征 值 之 一 相同 时 , 式 (9.6.12) 中 的 R -A 将 不 是 可 逆 矩 阵 。 下 面 介绍 Yu 解决 这 一 问题 
的 方法 ， 它 可 以 分 为 以 下 三 个 步骤 M, 

(1) 利用 压缩 映射 将 多 重 特征 值 压缩 为 单 重 特征 值 ; 

{2) 应 用 谱 分 割 定 理 将 各 异 的 特征 值 定位 到 所 希望 的 任 一 精度 ; 

(3) 计算 与 特征 值 对 应 的 特征 向 量 。 

1， 压缩 映射 

假定 R 具有 多 和 的 特征 值 。 分 两 种 情况 讨论 。 

情况 1 U 5q EX 

利用 正 交 条 件 UNG, = 0 以 及 式 (9.6.3)~ 式 (9.6.5), 立即 有 Rg, = Rq,。 但 是 , 由 于 
di 和 g; 是 五 的 特征 对 即 Ra, = digo BH Ra, = digo 这 表明 , d; 和 q; 仍然 是 RAY 

情况 2 RIER R 有 多 重 特征 值 

令 入 是 再 的 特征 值 (多 重度 为 mm)， 其 对 应 的 特征 向 量 集合 为 Q= [aan Ile 
对 Q BET Householder 变换 ( 令 Householder 矩阵 为 百 ;)， 使 最 后 m 一 1 的 特征 向 量 与 
U = (uy, ta, ,Wk] 中 的 wi EX, ER 


QH, = (a), qa 4] = QM (9.6.16) 
或 者 
(DT 7 
Go =0, 一 23 -m (9.6.17) 


这 样 一 来 , 根据 情况 1 RRS, {a}, E A < ACR) 对 应 的 特征 向 量 , 而 入 
的 多 重度 为 m 一 1。 其 中 ，Householder 矩阵 H, WIEZIE, H 


H 
H, =1- 2(b,bi) (9.6.18) 
by b, 


给 定 , 并 且 b = z+0e,. ZE, z = QË, 0 = zlo e = [1,0,--- 04. > a = 
afai, aie]. 类似 地 ， 又 可 进行 另外 一 次 Householder 变换 得 到 


2 92 ， 


Ay) 2: 
QI H = fal, a®,--- a) 


Qu, =0, i=3,4. m 
经 过 第 k 次 类 似 Householder 变换 后 , 就 可 以 得 到 
人 (9.6.19) 
qua =0, 了 一 天 十 1 天 十 2 ,mm (9.6.20) 
TÆ (a Vay 现在 是 Å MEERA m 一 k 的 特征 值 对 应 的 特征 向 量 。 经 过 以 上 的 压 
缩 映射, 即 可 把 任何 一 个 多 重 的 特征 值 压 缩 为 单 重 的 特征 值 。 
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2. 谱 分 害 
假定 经 压缩 映射 后 , R 的 所 有 多 下 特征 值 d; 各 不 相同 , 并 且 gU = 0T。 现在 的 问 
题 是 让 这 些 各 不 相同 的 特征 值 定 位 在 所 希望 的 精度 上 。 解决 这 一 问题 的 理论 根据 就 是 所 
谓 的 谱 分 割 公式 (spectrum-slicing formula) 82; 
Nad) = NRO) + DHW) ~ DHS) (9.6.21) 
Ah, NaO) 和 NRA) 分 别 为 矩阵 RM RR 小 丁 的 特征 值 个 数 ，P+[W(A)] EEE 
WO) 的 正 惯性 , WO) 的 正 特征 值 的 个 数 : 而 V+S] 则 是 S 的 正 惯性 。 其 中 ，NR(A) 
的 值 很 容易 得 到 , 因为 R 的 特征 值 分 解 为 已 知 ; 而 D+[S] 也 很 容易 从 E 的 特征 值 分 解 
E=USU" 求 得 , Wi D+[S] 实际 上 是 修正 您 阵 E 的 正 特征 值 个 数 。 至 于 DHW] 的 
计算 , 则 可 以 利用 式 (9.6.12) 直接 计算 出 对 应 不 同 和 的 矩阵 WO), RAAH LDLE 分 
解 或 对 角 基 更 换 分 解 (例如 LINPACK 中 的 现 有 程序 ) 求 出 WA) 的 惯性 , 从 而 得 到 正 惯 
性 DHW). 特征 秆 搜索 算法 如 下 : 
(1) AHR (9.6.21) 将 特征 值 定位 在 不 同 的 间隔 内 ， 
(2) 利用 一 等 分 搜索 (bisection search) 取 某 间隔 Qu) 的 中 间 点 , 即 令 A= (二 aa/2， 
并 利用 式 (9.6.21) 进行 检验 ,并 重复 这 -一 步 直 至 》 收敛 到 所 和 希望 的 精确 度 。 
例 9.6.1 499 令 原 协 方差 矩阵 为 R = diag(50, 45,40,35,30,25,20,15,10,5)。 因 此 ， 
原 特征 值 就 是 该 对 角 算 阵 的 对 角 线 元 素 , 而 特征 向 星 为 单位 向 量 {e,i =1,2,… ,10。 现 
在 假定 协 方差 矩阵 经 过 秩 3 BIE, 即 R= R+u,ult uu 十 Wat 好， 其 中 
tt, = [0.3563, —0.2105, 一 0.3559, 一 0.3566, 2.1652, 
— 0.5062, —1.1989, —0.8823, 0.7211, —0.0067]T 
uz = | — 0.5539, 0.4056, 0.3203, —1.0694, -0.5015, 
1.6070, 0.0628, —1.6116, —0.073, —0.5950]7 
tg = (0.6176, — 1.1828, 0.3437, 0.3574, —0.4066, 
— 0.3664, 0.8533, — 1.5147, —0.7389, 2.1763] 


秩 3 修正 矩阵 B= uut tuu 十 Wau3。 由 此 得 5 = diag(1,1,1) 和 DHS] = 3。 对 于 
这 个 例子 , 最 后 的 特征 值 为 
A = [51.1439, 47.1839, 40.6324, 36.9239, 36.0696, 
27.6072, 22.1148, 20.0423, 11.0808, 8.6086] 

F 面 说 明 式 (9.6.21) 是 如 何 将 特征 值 定位 在 所 希望 的 精确 度 的 。 考虑 间隔 (20 +6,25 — e), 
其 中 , e 表示 所 希望 的 精确 度 。 计 算得 Na(25 -日 =4 AlN, (20+ 6) = 2, 这 表明 在 间隔 
(20,25) 内 有 两 个 特征 值 。 FE, 可 以 将 该 间隔 分 为 (20, 22.5) 和 (22.5,25)。 计 算式 (9.6.21) 
得 Ni(22.5 一 6) = 3 HN, (22.5 +e) = 4, 故 在 (20,22.5) 和 (22.5,25) 内 各 有 一 个 特征 值 。 
然后 , 二 分 法 即 可 有 几 于 将 特征 值 计算 到 所 要 求 的 精确 度 。 
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表 9.6.1 示 出 了 计算 精确 度 为 10-3 时 的 迄 代 步 又 的 结果 , 在 第 12 步 , 特征 值 收敛 为 


20.0425. 


表 9.6.1 ”利用 谱 分 审 公 式 的 特征 值 的 二 等 分 搜索 的 迭代 结果 [es9 


oR M A 中 四 点 NRA) DEWA NRO) 


1 (20, 21.25) 20.6250 4 
2 (20, 20.625) 20.3125 
3 (20, 20.3125) 20.1563 
4 (20, 20.1563) 20.0782 
5 (20, 20.0782) 20.0391 
6 (20.0391, 20.0782) 20.0587 
7 (20.0391, 20.0587) 20.0489 
8 (20.0391, 20.0489) 20.0440 
9 (20.0391, 20.0440) 20.0416 
10 (20.0416, 20.0440) 20.0428 
11 (20.0416, 20.0428) 20.0422 
12 (20.0422, 20.0428) 20.0425 


e a a A be b a b h a A 


2 
2 
2 
2 
1 
2 
2 
2 
1 
2 
1 
2 


3 


oN U NOUV WH Dw ww 


二 等 分 特征 值 搜 索 方法 的 收敛 最 大 步 数 取决 于 要 搜索 的 间隔 (u) 和 所 需 精度 。 


3. 特征 向 量 的 计算 


一 旦 特征 值 获得 , 特征 向 量 即 可 分 两 步 计算 。 第 一 步 从 上 x 齐 次 Hermitian MEA 
程式 (9.6.11) 求 出 中 间 向 量 yo KHL y 可 以 作为 WA) 的 LDL” 分 解 的 副产品 得 到 ， 
也 就 是 说 , y EWO) 的 零 向 量 , HP, A 是 收敛 的 特征 值 。 第 二 步 是 利用 式 (9.6.9) 直 
接 计算 特征 向 量 so 这 种 二 步 法 比 直接 求解 原 N xN 齐 次 方程 组 {9.6.6) BAM. 与 9 


的 显 式 关系 由 下 式 给 出 ; 


z =-(R-MM)"'Uy 
= -Q(D -ATy "Uy 


归 一 化 的 oo 给 出 更 新 的 特征 向 量 


9.6.2 #1 修正 


{9.6.22) 


(9.6.23) 


对 于 秩 1 修正 R= 只 + aeH, PEER E= aa, AR 9.64) PU =a M S=l 
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此 时 ,W(X) 为 1x 1 丝 阵 ， 它 与 行列 式 w(A) = det[W (A) 相同 , 即 


X jga]? 
wA)=1+a(R-A) a =1+} PSN (9.6.24) 
a=1 “* 
这 是 一 个 有 理 多 项 式 , AN 个 根 , 它们 对 应 于 N 个 特征 值 。 假 定 压 缩 映射 已 不 再 可 能 ， 
所 有 di BASH, A gla #0. ERMA PD, 秩 1 修正 Hermitian 年 阵 的 特征 值 满足 
下 列 交织 性 质 [359]; 


di <i < din, 2 (9.6.25) 
HP, dy = di + laž. Ault, 对 每 一 个 A, 的 搜索 间隔 可 以 限定 为 五 = (di diihi = 


1,2,… ,NW。 对 于 复 旧 R= R- po? 的 情况 ,交织 公式 为 


Gap Ad, i=l, oN (9.6.26) 
Hy dy = dy — Hi 对 每 一 个 和 的 相应 搜索 间隔 可 以 限定 为 = (dy, ds) TÆ 
一 种 先 代 搜索 方法 可 用 于 wA) 以 辨识 被 更 新 的 特征 什 。 函数 w( 和 ) 是 一 个 在 其 两 端点 之 
闻 的 单调 增 函 数 ， 因 为 其 微 商 
ny) n S afa 
w'(d) = L 1 = E> 0 (9.6.27) 
此 , 下 面 的 Newton 法 可 用 于 和 迭代 搜索 以 辨识 第 7 个 特征 值 。 为 方便 计 , 将 间隔 的 两 端 
点 记 作 1= dj 和 w= dj_1。 所 有 的 特征 值 都 可 以 用 F 面 的 欠 代 算法 并 行 求 出 每 “个 特征 
fi: w 
(e+1) wr) 
ED = AD 一 wow) (9.6.28) 
及 
NEED, HEH) € 万 
ACHD = 4 AM tu MHD ou, ADREI (9.6.29) 
aSa, PAD <i, AORE u 


EACHD - XI < 6H, MARIER, 其 中 , 5 RAHE. 注意 , AETA 
定 的 区 域 时 ， 由 于 梯度 大 于 零 , 所 以 它 将 表明 ,该 方向 正 是 要 找 的 解 所 在 的 方向 。 这 样 ， 
迭代 就 可 以 重新 规定 一 个 间隔 。Newton 法 可 以 保证 收敛, 而 且 这 一 收敛 在 解 附近 是 二 次 
型 收敛 。 应 当 注意 , Newton TEM ER aM w( 和 ) 的 局 部 线性 逼近 。 由 于 wa) 是 一 有 
BBM, UUM RARE SA RAL, 则 可 望 加 快 收敛 速率 。 

一 旦 特征 值 足够 精确 , 特征 向 量 就 可 用 式 (9.6.22) 和 式 (9.6.23) 所 述 的 方法 求 出 , 其 
结果 为 


(9.6.30) 


(9.6.31) 
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9.6.3 2 修正 


对 于 秩 2 修正 问题 , 式 (9.6.3) 可 以 表示 为 


及-R+lal| a a 


] 国 - 


R+uUsU® (9.6.32) 


AH, U = (a, 6) X Nx 2 BER, 而 S = diag(1, 一 1) 为 2x2 对 角 矩 阵 。Weinstein- 


Aronszajn 矩阵 WO) 由 下 式 给 出 : 


WA) = S11+UIQ(D- ADTQ U 


(9.6.33) 


令 QU = [y,2] 为 N x 2 ERE, W WA) 的 行列 式 wA) 具有 下 列表 达 式 : 


N 


N 


REA 


. lye? lal 
wA) = 1+ a 1 Lin 
i=t + 


- ) (= = ) ( 
+ 2; 
ast d; i=l d; =à i=l d; =A 


) 


(9.6.34) 


假定 所 有 的 压缩 映射 步骤 已 执行 , 即 所 有 的 d, 已 名 不 相同 。 联系 修正 特征 值 与 原 特 
征 值 的 交织 性 质 将 比 秩 1 修正 情况 复杂 得 多 。 综合 秩 1 更 新 的 交织 公式 (9.6.25) AIK 1 
复 旧 的 交织 公式 (9.6.26), MAR 2 修正 的 下 列 广 义 交织 公式 : 


dija <A, < dii 


其 中 , dyp = dy - IIB] 
和 下 一 个 特征 值 为 界 。 


(9.6.35) 


2, do =d, +o HÆR, 修正 特征 值 以 原 协 方 莽 矩 阵 的 上 一 个 
这 一 性 质 由 DeGroat 与 Roberts DI 讨论 。 在 这 种 情况 下， 每 一 


间隔 可 能 没有 一 个 、 只 有 一 个 或 有 两 个 特征 值 。 幸运 的 是, 可 以 使 用 谱 分 割 公式 将 特征 值 
分 隔 成 互 不 交 连 的 间隔 。 一 旦 特征 值 被 分 隔 ， 就 可 以 应 用 Newton 方法 进行 特征 值 搜索 。 


这 一 非 线性 搜索 可 以 用 
特征 向 量 的 确定 分 两 步 。 
第 1 步 : 由 QHU = [y,z] 得 到 向 量 y = (yy. 
是 , 可 以 计算 


站 = 一 
第 2 步 : 得 到 特征 向 量 的 下 列 显 式 表示 ; 


N 
Yi tvz; 
ca at 
i=l 


SK 1 修正 情况 相同 的 方法 并 行 实现 。 


syn]? 和 z= [xbza ele 于 


(9.6.36) 


(9.6.37) 


(9.6.38) 


(9.6.39) 
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F! 
z 
=r 9.6.40 
15 Tele (9.6.40) 


上 面 介绍 的 特征 值 分 解 的 递 推 更 新 很 容易 推广 到 信号 子 空间 和 噪 卢 季 空间 的 递 推 更 

新 。 假定 只 有 M 个 信号 源 。 对 丁 秩 1 更 新 的 情况 , 前 好 十 1 个 特征 值 和 特 社 向 量 需 要 更 

新 , 后 N - M -1 个 特征 对 保留 不 变 。 为 了 符合 M 个 信和 号 源 的 模型 , 可 采用 下 列 特征 值 
更 新 公式 

dy eo Âp >? (9.6.41) 


其 中 


ee Darya +(N -M — 1)? 
N-M 

类 似 地 ， 对 于 秩 BH. 前 M + 大 个 特征 对 需要 修正 ,其 他 特征 对 保留 不 变 。 因此 , BR 
PEAT Ee: 

ag Amar tit Anne + (N -M — ko? 

62 = MH a i (9.6.43) 
事实 上 , 如 果 只 有 M MAGI Oy Jk, 应 该 与 o 接近 。 如 不 接近 , 就 有 可 能 存在 另 
外 一 个 信号 源 或 日 标 。 这 一 观察 可 以 用 来 检测 新 的 信号 源 。 


(9.6.42) 


9.7 ”基于 优化 理论 的 子 空间 跟踪 


考察 目标 函数 AW) 的 最 小 化 , 其 中 , W A nx SEE MW 的 常用 约束 有 两 类 : 
(1) EZAK (orthogonality constraint): 要 求 W 满足 正 交 条 件 WHW = 五 (n > 7) 
或 者 WW = I, (n <7)。 满足 这 种 条 件 的 矩阵 W 称 为 半 正 交 和 矩阵 。 
(2) 齐 次 性 约束 (homogeneity constraint): BOK J(W) = (WQ), 其中, Q 为 rxr 
正 交 和 矩阵。 

下 面 分 别 研究 两 类 最 优化 问题 : 一 类 同时 使 用 正 交 约束 和 齐 次 性 约束 ， 另 一 类 只 使 
用 正 交 约束 。 


9.7.1 Grassmann 流 形 和 Stiefel 流 形 


本 季 分 析 具 有 正 交 约 束 的 最 小 化 问题 min (W) R W 的 集合 。 先 介绍 线性 流 形 


的 概念 。 
定义 9.7.1 (线性 流 形 ) 令 五 是 空间 的 子 空间 , Z 代表 H 内 有 限 个 元 素 的 所 有 


线性 组 合 的 全 体 , 即 . 
c= fes- Sam me n) 
i=l 


称 £ 是 由 五 张 成 的 线性 流 形 。 


638 第 9 章 子 空 间 分 析 与 跟踪 


在 矩阵 分 析 与 最 优化 理论 中 ， 称 两 个 矩阵 为 等 价 和 矩阵， 若 它们 的 列 向 基 张 成 的 子 空 
间 相 同 。 换 言 之 ， 等 价 的 矩阵 集合 具有 相同 的 列 空 间 ， 即 和 子 空间 相对 于 基 的 任意 选择 是 
不 变 的 。 人 在 这 个 意义 上 ， 这 类 子 空间 也 称 不 变 子 空间 。 所 有 相同 的 子 空间 组 成 等 价 子 室 
间 类 。 

S nxr FER W RAWI 其 列 空间 H = Col(W), 并 令 > 是 Cn 空间 的 一 任意 
向 量 , Wa 到 五 子 空间 的 投影 为 


Pye = WwW (Ww) wie 
S rxr Hi M 非 奇 异 , 且 n xr 矩阵 WA4 的 列 空间 3 = Col(WM), 则 zw 到 5 子 空 
间 的 投影 为 
Psz=WMWM)I (W M] (Wate 
=WWIW) wie 
= Pys 
由 于 向 量 = 到 子 空间 H M S 的 投影 相等 , 故 称 OS 是 两 个 等 价 子 空间 , 或 者 称 nx 


满 列 秩 矩 阵 W 的 列 空 间 Col(W) 是 相对 于 r xr ERRER M 不 变 的 子 空间 。 
类 似 地 , 向 量 e 到 具有 满 行 秩 的 n x r 矩阵 W 的 行 室 间 H, = Row(W) 上 的 投影 


aPy = ewww) w 
GN 是 一 个 nxn IRRE, 则 mw 到 行 空间 S, = Row(NW) 上 的 投影 
zPs = sWĦNY(NW WINE) INW 
= rW" (www 
=2Py, 


即 A, 和 S, 为 等 价 子 空间 。 就 是 说 , nx r 满 行 秩 矩 阵 的 行 空间 Row(W) XF nxn 
PARRER N 不 变 的 子 空间 。 
面 考察 不 变 子 空间 的 集合 。 


1. Grassmann 流 形 

绕 子 空间 H 展开 的 理论 分 析 ， 其 核心 问题 往往 集中 体现 在 另 一 空间 V 的 任意 向 
量 = 到 子 空间 H 的 投影 分 析 , 因为 这 一 投影 涉及 信号 的 最 优 滤波 、 最 优 估 计 、 干扰 对 消 
等 一 系列 应 用 。 在 这 些 应 用 中 , 到 子 空间 的 投影 矩阵 Py 和 正 交 投影 给 阵 P# = I 一 Py 
起 着 关键 的 作用 。 当 H 是 矩阵 W 的 列 (或 者 行 ) 向 量 张 成 的 子 空间 即 列 (成 者 行 ) 空间 
时 , 常 将 W 的 投影 矩阵 视 为 子 空 间 E 的 代表 。 因 此 ,不 变 子 空间 也 可 以 通过 投影 矩阵 
作 解 释 。 
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(1) “RE” XEZER (tall-skinny semi-orthogonal matrix) 
当 n >r HEME W,,, 加 有 正 交 约束 WIW = 7, 时 ，W 的 列 空间 
H = Col(W) 常 可 以 用 投影 矩阵 


Pa =W(wiw) Ww" = wwe 


等 价 描述 。 因 此 , 不 变 的 列 空间 Col(W) ATER ARR Ww 不 变 。 
就 是 说 ， 当 两 个 xr 半 正 交 和 矩阵 W, AW, 不 同 ,但 却 满足 条 件 WEW, = 
WFW, 时 , 矩阵 W, AW, 就 是 等 价 阜 阵 ， 因 为 它们 的 列 空 间 相 阅 。 

(2) “E” 34 IESE RE (short semi-orthogonal matrix) 
当 < r， 并且 对 智 阵 War 加 有 正 交 约束 WW = 五 时 ，W 的 行 空间 
H = Row(W) 常 可 以 用 投影 矩阵 


Py = Www") w =wiw 
等 价 描述 。 因 此 , 不 变 的 行 空间 Row(W) 可 等 价 描 述 为 矩阵 乘积 WIW 不 变 。 
换言之 , 满足 WHW = WIW, HPA W, Ww, 相互 等 价 。 
引 理 9.7.1 假定 nxr 矩阵 W, = WQ, 其 中 , n> r, Q Br xr EZER, FH 
H, = Col(W)) 和 H, = Cola 则 Px, = Py,» 从 而 W, HW, Str. 
证 明 计算 到 W, = WQ 的 列 空 间 H, 的 投影 矩阵 , 得 
Py, = (W2Q)[(W2Q)"(W.Q)] "(Wa 
= Wa( WFW) W7 = Py, 


由 于 列 空间 Col(W,) 与 Col(W,) 相同 ， 故 矩阵 W, 与 Wa 等 价 。 a 

上 述 引 理 表明 ， 两 个 矩阵 等 价 或 者 张 成 相同 的 列 空间 ， 若 一 个 矩阵 等 于 另外 一 个 矩 
阵 右 乘 一 个 正 交 矩阵。 特别 地 , BF Wmns LIER RAE WEW = 五 和 齐 次 性 约束 
BJW) = J(WQ), 其中, Q Ae xr 任意 正 交 矩阵 ， 则 极 小 化 问题 min (Ww) 的 解 
不 是 一 个 W 矩阵 , 而 是 由 W 组 成 的 矩阵 集合 。 矩阵 集合 内 的 任何 一 个 矩阵 的 列 向 量 
都 张 成 相同 的 Cr 子 空间 。C" 内 的 这 一 子 空间 称 为 Grassman 流 形 , 用 符号 Grin, r) 表 


示 , 即 有 


Gr(n,r) = {W ECnxr : WEW = 1, WW = 间 一 矩阵 } (9.7.1) 
Grassmann 流 形 是 Grassmann F 1848 年 提出 的 ,得 当时 的 表示 比较 模糊 ， 以 至 于 许多 
年 之 后 , 才 被 人 们 认识 1, Grossmann 流 形 的 原始 定义 可 以 在 文献 [187, Chap.3, Sec. 1] 


中 找到 。 
总 结 以 上 讨论 , 可 以 得 出 以 下 结论 : 对 丁 极 小 化 问题 
min J(W) (9.7.2) 


AREEN 
- WW=I, J(W)=J(WQ), QQ- QQ =T, (9.7.3) 
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解 不 是 单个 矩阵 ， 而 古称 为 Grassmann 流 形 的 矩阵 集合 。 就 是 说 ，Grassmann 流 形 的 
任何 一 个 点 都 是 同时 具有 正 交 约束 和 齐 次 性 约束 的 极 小 化 问题 的 解 。 

Grassmann 流 形 在 最 优化 算法 、 不 变 子 空间 计算 、 物 理 计算 、 子 空间 跟 峰 等 中 有 着 
重要 的 应 用 , 其 几何 特性 由 Edelman AT 1998 年 给 出 了 比较 系统 的 解释 A, 


2. Stiefel 流 形 
下 面 考 虑 只 有 正 交 约束 的 最 小 化 问题 


minJ(W) st. WHW =I, (9.7.4) 


AP, st 表示 “约束 条 件 为 "。. 上 述 最 优化 问题 的 解 为 rn x r EEXPIRE. ME 
nx r 半 正 交 和 矩阵 的 集合 称 为 Stiefel 流 形 , AMS St(n,r) RR B 


St(nr) = {W e C" :WHW =r} (9.7.5) 


它 是 Stiefel 在 1930 年 代 研究 拓扑 时 提出 的 H, Stiefel 还 与 Hestens 一 起 于 1952 年 提 
HTAA BSF 3, 
比较 Grassmann 流 形 与 Stiefel 流 形 之 问 的 联系 与 区 别 是 有 趣 的 。 
(1) Stiefel 流 形 St(n,r) 是 nxr“ 高 瘦 ” 半 正 交 矩阵 的 集合 ; 而 Grassmann 流 形 
Gr(n,7) NUH Stiefel 流 形 St(n,r) 中 那些 张 成 相同 列 空间 的 矩阵 组 成 。 
(2) Stiefel 流 形 St(n,r) .上 的 一 个 点 四 一 个 n xr BIER, 它 是 唯一 确定 
的 ; 而 Grassmann 流 形 Gr(n,r) 上 的 一 个 点 起 一 个 线性 子 空间 , 张 成 该 子 空间 
的 矩阵 存在 多 种 选择 。 换言之 ,Grassmann 流 形 的 点 是 xr 半 正 交 拢 阵 的 等 价 
类 ,其 中 的 任何 两 个 矩阵 都 是 等 价 的 , 即 一 个 矩阵 等 于 另外 一 个 矩阵 右 乘 一 个 
xr IEAeHBE. 
所 有 + xy EXER Q 的 集合 称 为 正 交 群 (orthogonal group), AF-S O, 表示 ， 
即 有 


0, ={Q, €0™" :QQ = QQ" =1,} (9.7.6) 
正 交 群 、Grassmann 流 形 与 Stiefel 流 形 是 与 正 交 约束 密切 相关 的 三 种 子 空间 流 形 。 
下 面 研究 这 三 种 子 空间 流 形 之 间 的 关系 。 
首先 , > W 是 Stiefel 流 形 上 的 一 个 点 , 即 W E St(n,r) 是 一 个 n xr PERZIE 
阵 。 收 集 所 有 满足 正 交 条 件 WIW, = Inr AWIW = O(n_nxr 的 nx (n r) 矩阵 
WJ Ee St(n,n 一 7?) 则 [W, Wi) 构成 一 正 交 群 On WRS Q 是 满足 WQ = O 的 任 
意 一 个 (n-r) x (n 一 7) EXER, N Q RAR AEH O,_,. 注意 到 矩阵 乘积 


WW] [al =w 


RRA, KIER W,,,, 可 以 通过 nxn EZR O, 和 (nm 一 7) x {n -r) EXE 
On r WU. ERASERS, Stiefel RUE St(n,r) 上 的 一 个 点 可 以 用 两 个 正 交 群 的 
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商 O,/0,_, 作 表 不 形式 , 即 有 
St(n,r) = On/On r (9.7.7) 
SOK, AURA ECS Wuye 表示 Stiefel 流 形 上 的 -个 点 ,， 划 满足 W = 
UQ (Q A rx r 任意 正 交 和 矩阵 ) oh U, = WQ 的 所 有 矩阵 U, 组 成 Grassmann Hi 


JE Gr(n,r) 的 一 个 点 (等 价 子 空间 类 )。 内 此 ， 若 将 道 矩阵 运算 视 为 抵 阵 除法 ， 则 可 以 将 
Grassmann 流 形 Gr(n,r) 表示 成 Stiefel 流 形 St(n,r) SEXIER Q 的 商 , 即 有 


Gr(n,r) = $t(n,r) /O, (9.7.8) 


AP, O, 表示 > xr EZR HHR (9.7.7) 代入 式 (9.7.8), 又 可 将 Grassmann 流 形 表示 
为 正 交 群 的 商 ， 
Gr(n,r) =0,/(O, x Onar) (9.7.9) 
以 上 关于 正 交 群 、Grassmann 流 形 和 Stiefel 流 形 三 种 子 空间 流 形 的 讨论 可 以 总 结 为 
表 9.7.1 的 形式 。 


表 9.7.1 FRR MR 


FERRE BF ERR HER 
ERN On | nx neb 
Stiefel 流 形 | St(n,r) | mx r KBE On/On—y 
Grassmann YUE | Gr(n,r) 无 St(n,r) /O, 或 者 On/(O, x On») 


下 面 讨论 Stiefel #74. Grassmann 流 形 与 Rayleigh 商 之 间 的 关系 。 
定义 9.7.2207 令 X e€ Stinr) 是 一 个 nxr KIER, HAA nxn 维 


Hermitian 矩阵 ,， 则 


Ra(X) = (X9X) KF AX (9.7.10) 
称 为 A 的 矩阵 Rayleigh 商 。 矩 阵 Rayleigh 商 的 迹 


pa(X) = (R(X) = tr (x¥AXx(xEX) 7) (9.7.11) 
=tr (atxe x" axxx) (9.7.12) 


称 为 推 的 (标量 ) Rayleigh 商 。 

与 Rayleigh JERE Rayleigh 商 假设 XTX = 1, 
E X JÆ Stiefel ade 换言之 ， see Rayleigh pty Stiefel 流 形 定义 。 

推广 的 Rayleigh 商 保留 了 经 典 Rayleigh 商 的 以 下 重要 特性 。 

MRE 9.7.1 矩阵 Rayleigh 商定 义 式 (9.7.10) 和 推广 的 Rayleigh 商定 义 式 (9.7.12) 


满足 以 下 性 质 ， 
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(1) FRE Rayleigh 商 p4(X) = pa(XM) HMA ERAEN M 成 立 。 这 意味 
着, 若 Col(W,) = Col(W2), W p4(W1) = pa(W2)。 RAZ, 推 /" 的 Rayleigh 
MEXT Grassmann 流 形 上 的 一 个 标量 场 (scalar field). 

(2) 平稳 性 推广 的 Rayleigh 商 p4(X) 关于 X 的 梯度 矩阵 Vpa (站) = 0, HN 
当 co X) 是 矩阵 A 的 不 变 子 空间 , 即 Col AX) c Col(X)。 

(3) BARA AX XBR > AX -(XR,COR, FIRT, HBR“ B= 
R4(X) 因此 , B= R4(X) 是 min JAX 一 处 Bz 的 唯一 解 。 

证 明 多 文献 7]。 

上 述 讨 论 可 以 总 结 为 Stiefel 流 形 、Grassmann 流 形 与 Rayleigh 商 之 间 的 下 列 关系 : 

(1) HERE Rayleigh  R4(X)} = (大 了 大) -1 下 4 大 利用 Stiefel BUG (BI X € St(n,7)) 
定义 。 

(2) 推广 的 Rayleigh 商定 义 了 Grassman 流 形 上 的 一 个 标量 场 。 
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下 面 证 明 , 具有 正 交 性 约束 Wher Waser = 五 和 齐 次 性 约束 JOW) = TWO, xe) 的 
极 小 化 问题 min AW) 可 以 等 价 为 一 个 无 约束 的 最 优化 问题 。 
$ C= Eee") 表示 nx1 RPL EA, 目标 函数 为 


JW) = E{lle - WW "al]?} (9.7.18) 


JW) = Bf le - WW Ll} 
= E{(e-WW2) (x — WW e)} 
= Efase} — 2E{a" Wwe} + Ea WwW Ww wo} (9.7.14) 


注意 到 

E{a"a} = Et} = tr (E{wal}) = tr(C) 

i=l 
Ele! wwe} = tr (Ewen W}) =u(wHcw) 
Ete! www we} = te (EW wer Wuw}) =trWICW WW) 

则 目标 函数 可 以 用 迹 消 数 表示 为 

J(W) == tr(C) - 20r(W Cw) + tt (WICWWHW) (9.7.15) 
式 中 , W 是 nxr GE, PERRET r。 下 面 考虑 极 小 化 问题 min 7(W)。 与 之 相关 的 
重要 问题 是 : 
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( 是 否 存在 JW) 的 全 局 极 小 点 WwW? 

(2) 该 极 小 点 W SARK C 的 信号 子 空间 有 何 关 系 ? 

(3) 是 否 存在 JW) 的 其 他 局 部 极 小 点 ? 

Yang 证 明了 下 面 的 定理 , 给 出 了 以 上 问题 的 答案 [43 。 

定理 9.7.1 Wit JW) 的 一 个 平稳 点 , 当 且 仅 当 W = VQ; 其 中 , U, € Cnxr 
HAKER C 的 > 个 不 同 的 特征 向 量 组 成 , 并 且 Qe O™ MERRE. 在 每 一 个 
平衡 点 , 目标 函数 JW) 的 值 等 于 特征 向 量 不 在 U, 的 那些 特征 值 之 和 。 

在 给 出 定理 证 明之 前 , 先 介绍 上面 的 引 理 。 

引 理 9.7.2 对 于 nxn SME A, B, 若 A 正定 , 则 AB+ BA = O 意味 着 
B=0. 

证 明 [8 BUS ZU, 是 至 的 特征 值 分 解 , 其 特征 值 为 AP. 4 A=UGAB 
的 元 素 为 âg, N AB + BA =O 意味 着 AD, +t EÀ = O， 或 用 对 角 线 元 素 表 示 为 
284A = 0。 由 于 A 正定 ， 故 其 对 角 元 素 6 >0,Vi=1,2,---,n. TÆ FAP = 0 一 
1,2,:--,n, 即 召 =O。 

定理 9.7.1 的 证 明 N (1) 首先 证 明定 理 9.7.1 对 实数 据 成 立 。 利 用 第 5 BA 
数 的 偏 导 公式 

SAW) = (A+ ATW, oe BWW"P) ) - (DB + BD Ww 


并 分 别 令 A=CWW", B=W'C, D=W, Bl 


BWW TOWWTW) =(CWWT+WWIOW + (WWTC + CWWT)W 
={CWWT + WWTC)W 


RP, 利用 了 自 相关 和 矩阵 C 为 对 称 矩 阵 这 一 事实 。 内 此 ,， RE (9.7.15) 关于 W 的 偏 导 ， 


则 有 
3vI(W) =[-2C+CWWT + WWICIW (9.7.16) 


ËW =U,Q, 其 中 , U, 由 CC 的 任意 7 个 不 同 的 特征 向 量 ， 且 @ 为 正 交 矩 阵 ， 则 式 
(9.7.16) 变 为 


Zvw) =[-20 + CU,UT + U,UTC]U,Q = (U,UTCU, — CU,)Q 


p3 xX, 0 ut = a 5 

c=([U,,U,_+] B x | Fam =U,2,UT +0,_,2 Ut, 

注意 到 UTU, = 1, M U Ün = Onn 并 代入 C 的 上 述 表 示 式 , 经 计算 后 , 即 有 
U,UTCU, —CU,=0 > VI(W)=0 


即 W =U,Q ZARA JW) 的 一 个 平衡 点 。 
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反之 , 由 式 (9.7.16) A, YJ(W) = O 意味 着 
wiv) =Wew (WwW -1)+ (WTW — I)WTCW =0 


内 为 WTCW 和 WTW HARKIEIRER, H WTCW 正定 ， 由 引 理 9.7.2 立即 得 
WTW = 工 .将 这 一 条 件 代入 式 (9.7.16), 即 知 VI(W) =O Str T CW =wwicw. 
S C 的 特征 值 分 解 为 (WQT)TC(WQT) = 2, ke WOW = QTZ,Q, tH U, 
是 与 S, 的 对 角 元 素 (OL C 的 特征 值 ) 对 应 的 特征 向 量 ， 则 立即 有 WT = U, 或 
W =U,Q. PS E, = diag(à àz A,)> 其 中 , 特征 值 和 ; 随意 排列 。 将 WTW = 了 
和 WICW = Q72,Q RAR (9.7.15), 得 


J(W) = tr(C) — 2tr(QT LQ) +tr(QT LQ) 
= tr(C) — tr(¥,) 
-$a 
i=r+1 
式 中 , HATER @ 的 正 交 性 利 迹 冰 数 的 性 质 tr(QT D5,.Q) = tr( 了 QTQ) =t{8,)- 
(2) 对 于 复数 据 情况 , 令 Ya A Vp 分 别 表示 相对 十 w, SERDAR BB ISS AE 
子 。 复 梯度 算 子 定义 为 


i . 
Y=3 [Vrs +i Vr] 


显然 ,Vai = Vrd =0,Vi 等 价 为 VJ =0, HF, V = [V Vn Velo TE 经 过 
类 似 的 运算 后 , 可 以 得 到 与 式 (9.7.16) 类 似 的 结果 


VIW)=[-2C + Cww" + WWHCIW (9.7.17) 


于 是 ， 复 数据 情况 上 定理 9.7.1 的 证 明 与 实数 据 情况 (1) 类 似 。 E 
定理 9.7.2 HARR J(W) 的 所 有 平稳 点 都 是 鞍点 ,除非 U, HEXER C 的 
r 个 主 特征 向 量 组 成 。 在 这 一 特殊 情况 下 ,WW) 达到 全 局 极 小 值 。 
证 明 ”参见 文献 [485]。 
Yang 485) 建立 的 上 述 定 理 9.7.1 和 定理 9.7.2 表明 了 以 下 事实 : 
(1) 定理 9.7.2 Z, 当 W 的 列 空间 等 丁 信号 子 空间 , 即 Col(W) = Span(v,) Ef, 
目标 函数 IW) 达到 全 局 极 小 值 ,并且 目标 函数 没有 其 他 任何 局 部 慨 小 值 。 
(2) 虽然 在 定义 日 标 遂 数 和 无 约束 极 小 化 问题 时 , 没有 要 求 W 的 列 正 交 , 但 是 两 个 
定理 却 表 明 ， 式 (9.7.13) 的 目标 函数 IW) 的 极 小 化 将 自动 导致 W 为 半 正 交 
和 矩阵, 即 满足 WEW = Fo 
(3) 由 目标 函数 的 定义 式 (9.7.13) 易 知 ，.7(W) 一 J(WQ) 对 于 所 有 > xr REE Q 
成 立 ， 邑 日 标 逆 数 白 动 满足 齐 次 性 约束 。 
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(4) 由 于 式 (9.7.13) EY eR REAR, IP RS 
W 满足 正 交 约 来 WHW =F, KA eR W 不 是 唯一 确定 的 , 而 
是 Grassmann 流 形 上 的 点 。 
(5) 虽然 W 不 是 唯一 确定 的 ， 但 投影 矩阵 P= WWE) lw = WW = 
UUE 是 唯一 确定 的 。 就 是 说 , 不 同 的 解 张 成 相同 的 列 空间 。 
(6) r= 1 HERAA HE w 的 函数 时 ,J(w) 极 小 化 的 解 w N AREE C 
与 最 大 特征 值 对 应 的 特征 向 其 。 
内 此 , 具有 正 交 性 约束 和 齐 次 性 约束 的 日 标 鸳 数 JC(W) 的 极 小 化 求解 变 为 奇异 值 分 
解 或 特征 值 分 解 问题 : 
(1) 利用 观测 数据 向 最 z(k) 构造 数据 矩阵 X = [z(1), (2),… ,xz(N)]， 再 计算 X 
的 奇异 值 分 解 , 判断 数据 矩阵 的 有 效 秩 r 得 到 7 个 主 奇异 值 和 与 之 对 应 的 左 奇 
FARES 可 -。 极 小 化 问题 的 最 优 解 为 W=U, 
(2) HA RSE C = XX” 的 特征 值 分 解 , 得 到 与 > 个 主 特征 值 对 应 的 特征 向 
BIERE U,， 它 便 是 极 小 化 问题 的 最 优 解 。 
然而 ， 在 实际 应 用 中 ， 自 相关 矩阵 C 有 可 能 是 随时 间 变 化 的 ， 从 而 ,其 特征 值 和 特 
征 向 量 也 是 随时 间 变 化 的 。 由 式 (9.7.17) 知 ， 在 时 变 的 情况 下 目标 函数 IW e) 的 瞬时 
梯度 矩阵 为 


VAHWI()) =[-2C(t) + C(E)W (t DW -1)+ 
Wit- WFE- CEWE- 1) 
将 CO = eet) 代入 上 式 , 并 注意 到 Wa) HAREEK WOW E) =I, 
即 可 得 到 求解 极 小 化 问题 的 梯度 下 降 法 如 下 : 
yt) =W" Gelt) (9.7.18) 
W(t) = W(t — 1) + alel) - Wi - lel E (9.7.19) 
但 是 , 这 一 更 新 W(t) 的 梯度 下 降 算 法 收敛 比较 慢 . 跟踪 时 变 子 空间 的 能 力也 比较 差 。 更 
好 的 方法 是 下 面 的 递 推 最 小 二 乘 算法 。 
定义 指数 加 权 的 目标 函数 


t 
TW) = J Be — WOW DO (9.7.20) 


i=1 


= plet) -Wool (9.7.21) 
i=l 


RP, 0 < 8 <1 称 为 遗忘 因子 , 而 yli) = WE eli). 
由 自 适 应 滤波 理论 知 , 极 小 化 问题 min J, (W) 的 最 优 解 为 Wiener 滤波 器 : 


Wt) = Cay (CHO (9.7.22) 
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RH, TARERE Cu (6) PIRRE C (£) TUAH: 


t 
Crt) = DEO = Cot — D OO (9.7.28) 
t 
Cpt) = FP UOVO = 8C plt- 1) + OW (9.7.24) 
i=l 


将 式 (9.7.23) 和 和 式 (9.7.24) 代入 式 (9.7.22), THEM ERE RES EB, BERRE 
近 的 子 空间 跟踪 (projection approximation subspace tracking, PAST) 算法 如 下 。 
算法 9.7.1 (投影 逼近 子 空间 跟踪 (PAST) Si) 4°51] 
选择 初始 化 矩阵 五 (0) 和 三 (0) 
对 t 二 1,2,.…, 计算 
y(t) = W7 (t — Let) 
A(t) = P(t — Dy(t) 
a(t) = h(t)/ [8 + y" ORO] 
P(t) = $milPE — 1) ~ OO] 
e(t) = s — WHE — Lyle) 
W = W(t -— 1) + e(t)g" (t) 
RP, MA) 表示 只 计算 矩阵 4 的 上 (或 中 三 角 部 分 ， 然 后 将 上 (或 下 ) 三 角 部 分 复制 


为 矩阵 的 下 (或 上 ) 三 角 部 分 。 
PAST 算法 从 数据 向 量 中 提取 信号 子 空间 , 是 一 神主 分 量 分 析 方 法 。 特别 地 , 4ER 


算法 的 第 一 式 用 


y(t) =g (wre 一 He) (9.7.25) 
Het, EP, gllt) = geth gA) alent)” 为 非 线性 函数 ， 则 可 得 到 一 类 称 
为 非 线 性 主 分 量 分 析 的 盲 信 号 分 离 算 法 。 非 线性 主 分 量 分 析 的 LMS 算法 和 RLS 算法 分 
别 由 文献 [343] 和 [352] 提出 。 此 外 , Æ "==1, 则 PAST 算法 简化 为 以 下 算法 。 
算法 9.7.2 ( 子 空间 跟踪 的 压缩 映射 (PASTA) Ass 
选择 初始 化 向 量 di0) 和 w,(0) 
对 t=1,2,…，, 计算 
x(t) = x(t) 
对 i 二 1,2,…,r?， 计算 
(lt) = wh (t — 1a, (} 
d,(t) = Bdilt ~ 1) + l 
e,(t) = 2, (t) — w(t — Dy) 
w(t) = w(t ~ 1) + e,(t) [yt (t)/di(t)] 
Sip (t) = m(t) — wilt)y(d) 
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PASTd 算法 又 可 进一步 推广 为 秋 和 和 和子 空间 二 者 同时 跟踪 的 算法 。 对 此 推广 感 兴趣 的 
读者 可 参考 文献 [486] 。 
投影 各 近 子 空间 跟踪 算法 可 以 对 W - U,Q 进行 跟踪 .。 现在 考虑 信和 与 子 空间 U.P 
HEE. HYMN RRR PP = Www = U,UE 知 , 信号 子 空 间 U,UH 的 跟踪 
等 价 于 投影 矩阵 P 的 跟踪 。 使 用 投影 矩阵 代替 式 (9.7.13) 的 代价 函数 中 的 矩阵 Ww, 
即 可 将 投影 逼近 子 空间 跟踪 的 代价 函数 等 价 写 成 
J(P) = Eflz — Pe|f?} = tr(C) — tr(CP) — tr(CPH) + tr(CPP®) (9.7.26) 
为 了 使 忆 为 投影 矩阵 , BII E REEE A RARE P? = P ARH RA 
件 PE = P. 利用 这 些 约束 条 件 可 以 简化 式 (9.7.26)。 于 是 ， 便 得 到 直接 跟踪 信和 号 子 空间 
投影 矩阵 的 约 来 优化 问题 
min J(P) = min Et{ls — PzlP] = min[ftr(C) ~ tr(CP)] (9.7.27) 
约束 条 件 为 rank(P) én, P? = P 和 PS = PP。 这 一 优化 准则 是 Utschick 提出 的 4, 
约束 条 件 rank(P) én 意味 着 P 不 可 以 是 非 奇 异 的 窜 等 矩阵 ( 即 单位 矩阵 )。 
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本 节 将 从 另外 一 个 角度 观察 Hermitian JEE A 的 特征 值 分 解 。 这 一 观点 的 基本 出 发 
点 是 : 样本 协 方差 短 阵 A 的 主 特征 向 最 的 张 成 与 的 Rayleigh-Ritz (RR) 向 量 的 张 成 二 
者 是 4 的 信号 子 空间 的 渐 近 等 价 估计 ; 而 利用 Lanczos 算法 , 又 可 将 变换 为 三 对 角 矩 
阵 Tm (其 特征 值 分 解 简 单 ), Mit A 的 RR 向 量 可 以 由 Te, 的 主 特征 向 量 与 Lanczos 基 
直接 求 出 。 换 名 话说 , Hermitian 矩阵 A 的 特征 值 分 解 可 以 利用 Lanczos 算法 求 出 。 AT 
要 介绍 的 快速 子 空间 分 解 就 是 基于 Lanczos HME RR 向 量 估计 算法 ， 是 Xu 等 人 提 


出 的 [4821,(483) , 
9.8.1 Rayleigh-Ritz 逼近 
和 前 几 节 一 样 , 令 A < COMM 为 协 方差 矩阵 ， 它 是 Hermitian 的 。 考 虑 样本 协 方 
ZIER A 的 特征 值 和 特征 向 量 的 所 谓 Rayleigh-Ritz (RR) 和 逼近 问题 。 为 此 , 先 引 入 以 下 
定义 。 
定义 9.8.1 对 于 一 个 m 维 子 空间 Sm, E 
Ay — of yl Lb gm (9.8.1) 


则 分 别称 A 和 yO 是 Hermitian 矩阵 A 的 Rayleigh-Ritz (RR) 值 和 RR 向 量 。 
定义 9.8.2 Krylov 矩阵 记 作 KAS). ELH 
KA, f)=[f, Af, =, APF (9.8.2) 
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并 将 其 张 成 
K™(A, f) = Span{f, Af, ,A™*F} (9.8.3) 
称 作 Krylov 子 空间 。 
对 于 RR 值 和 RR 向 址 , 文献 [356] 证 明了 以 下 结果 。 
引 理 9.8.1 $ (0 yl) (i= 1,2,---,m) 为 子 空间 Sm 的 RR 值 和 RR 向 量 , H 
Q= itota ,4m] 为 同一 子 空间 的 正 交 基 。 如 果 (ai,s,) 是 m x m EE QUAQ 的 第 i 
个 特征 对 (特征 值 与 特征 向 基 ),， 其 中 ,= 1,2,… m, 则 


a) =a, (9.8.4) 


wi” = Qa, (9.8.5) 
推论 9.8.1 4 G6 yl) @ = 1,2,.--,m) W Krylov FÈ L(A, f) 的 RR 对 
(RR 值 和 RR 向 量 )。 如 果 
mtfz) = Te -60%), i (0),  1<k<m 


i=l toi kk 
则 ` 
wf? = m AS/A 

对 引 理 9.8.1 利 推论 9.8.1 的 证 明 感 兴趣 的 读者 可 分 别 参阅 文献 [356] 中 的 11-4 FH 
12-3 节 。 引 理 9.8.1 表明 ,一 个 Hermitian 和 矩阵 的 特征 值 和 特征 向 时 可 以 分 别 用 Krylov 
子 空间 的 RR 值 和 RR HEE. ARIE Rayleigh-Ritz iit. 

RR 值 和 RR 向 大 与 Lanczos 算法 密切 相关 。 特 别 地 ，RR 值 (00) 和 RR 向 量 
{yo} 可 以 在 Lanczos 算法 的 第 m HIRE. Lanczos 算法 分 两 种 : 实现 Hermitian 矩阵 
的 三 对 角 化 的 三 Lanczos ARA K MAER ERER AARI Lanczos ft. 

算法 9.8.1 (= Lanczos RBA) 134 

给 定 Hermitian 矩阵 A; ro = f (单位 范 数 向 基 ); ba = 1; j= 0 

while (8; # 0) 

qt1 = 75/8; 


了 = 


aj = G Aq; 
Tj = Aq; — 059; 一 记 -19j13 
B; = rylla 
end 
-在 三 Lanczos {tH m 步 ( 即 7 = mm)， 将 得 到 m 个 正 交 向 量 {002 am} 
它们 组 成 Krylov 子 空间 Km(4, f) = Span{f, Af, APTS) 的 一 组 正 交 基 Qmo WT 
之 为 Lanczos 基 。 
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Hermitian JERE A 的 特征 值 分 解 为 


M 
A=} Merek (9.8.6) 
k=1 
其 中 , Arer) 为 4 的 第 上 个 特征 值 和 特征 向 量 , 并 假定 M > … > Ad > A =o 
Au soo MERG {A edi, 为 信号 特征 值 和 信号 特征 向 量 。 
RR 值 和 RR 向 量具 有 下 列 重 要 的 渐 近 性 质 : 对 m >d 它们 各 自 的 误差 
om ip O(N), k=1,2..,d (9.8.7) 
uf? ê, = O(N), k= 1,2, (9.8.8) 


RF, N 为 数据 长 度 。 因 此, —Om>d+2, WA 
jim VN ~ e,) = Jim VNE ~er), k=1,2,...,d (9.8.9) 


即 Span{y$”, yS”, 9499} 和 Span{é,,é.,--- , 24} 都 是 信号 子 空间 Span{ey, e2, ,ea} 
的 渐 近 等 价 的 估计 , 因此 ，Hermitian 矩阵 A 的 信号 子 空间 的 求解 便 变 成 了 A 的 RR 特 
征 向 量 的 求解 。 

进一步 地 , Lanczos 基 通过 Hermitian 4ER A 的 三 对 角 化 , HA 的 RR 对 (RR 信和 
RR 向 量 ) 与 三 对 角 和 矩阵 的 特征 对 (特征 值 和 特征 向 量 ) 紧密 联系 在 一 起 。 

4A H Hermitian 矩阵 A 的 样本 估计。 

引 理 9.8.2 ”对 于 样本 协 方差 矩阵 A 及 其 特征 值 你 ,下列 关 系 以 概率 1 成 立 : 


A~A=O (Vv) - (9:8.10) 
-a= o( poson), k=1,2, e, M (9.8.11) 


RP, N Ait Â 所 使 用 的 数据 长 度 。 
式 (9.8.10) 的 证 明 可 在 文献 [300] 中 找到 ， 而 式 (9.8.11) 的 证 明 购 文献 [511]。 
令 Qum = [0102 ;4m] SE Lanczos 基 , 则 由 文献 [356j 知 

for A 

B oa Be 

Q2AQ,.=T m= Tey (9.8.12) 

Ce Om- Bm- 
Bm-1 Am 


其 中 , Tm 为 m x m REMER. 

由 于 Q&A Q, = Tm HRR AM RR 向 量 可 以 根据 mxm CARERE Tm 的 
REL WER. TÆ, Krylov 子 空间 Km(4, 了 ) 的 RR 值 和 RR 向 量 可 几 来 过 近 样本 
协 方差 矩阵 A 的 期 望 特征 值 和 特征 向 量 。 这 一 过 程 称 作 Rayleigh-Ritz 逼近 , 简称 RR 
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逼近 。Lanczos 算法 最 吸引 人 的 性 质 就 是 ; 借助 Lanczos Æ, 可 以 把 求 原来 M x M ( 复 
值 ) 样本 协 方差 (Hermitian) SURE A 的 期 望 特征 值 和 特征 向 量 这 -- 较 大 的 问题 转变 成 计 
算 m x m( 实 ) 三 对 角 和 矩阵 的 特征 值 分 解 的 较 小 的 问题 因为 m 通常 比 M 小 很 多 。 
关于 RR 逼近 ,Xu 与 Kailath 89 证 明了 下 面 的 重要 结果 。 
定理 9.8.1 Si, > 和 > … > day Bley, ên 分 别 是 样本 协 方差 矩阵 页 的 特 
征 值 和 特征 向 量 , 其 中 , A 是 利用 N 个 独立 同 正 态 分 布 N(0, A) 的 数据 向 量 计算 得 到 的 ， 
且 4 是 一 个 结构 化 的 矩阵 ( 秩 d ERE tod). $ A > > Ay >a = Ay eo AA 
erep ,eM 分 别 是 理想 协 方差 矩阵 A 的 特征 值 和 特征 向 量 。 用 of” > ol) > .> 
O Fy, yh, yh) 分 别 表示 从 Krylov 子 空 间 Km(4, f) 获得 的 RR 值 和 RR 向 
Be 若 选 择 了 满足 fle, £00 <i <a), 则 对 于 一 1,2,… ,d,， 下 列 结果 成 立 ， 
(1) Æ m> d+2, 则 RR fi Of” 通 近 它们 对 应 的 特征 值 A, MEE O(N), 
而 RR 向 量 yf) 逼近 它们 对 应 的 特征 向 量 è, 的 精度 为 OCN(m-0/2), ED 


of = ip + O(N) (9.8.13) 
ul) = ê, + O(N-(m-0/2) (9.8.14) 


(2) Hm>a+1, MO” Ai, 是 特征 值 入 的 渐 近 等 价 仙 计 。 如 果 m > d+? W 
uh” 和 èn 也 是 特征 向 量 e, 的 渐 近 等 价 估计 。 
9.8.2 ”基于 三 Lanczos 选 代 的 快速 子 空间 分 解 
定理 9.8.1 表明 , AZ Lanczos 迭代 的 第 m(> d+ 1) 步 得 到 的 d 个 比较 大 的 RR 值 
可 以 用 来 代 苦 信号 特征 值 。 但 是 , 还 需要 先 估计 d 为 此 ,构造 检验 统计 量 


å 
1 Àp n)? 
ra (un-e ’) 


k=1 


bi = N(M — d)log (9.8.15) 
L | å) — So 
M-å (« > 
其 中 

M 

tr(A) = 74, (9.8.16) 
th 

lâl = S02 (9.8.17) 

k=1 


下 面 的 定理 给 出 了 在 所 dad 假设 下 6, 的 极限 分 布 。 

定理 9.8.2 sa 对 于 mm > a+1, HA BAH, MI (9.8.15) 定义 的 统计 量 $3 在 
Hy:d=d 假设 下 为 渐 近 x? 分 布 , HEHE 5(M—d)(M—d+1)-1,. 4# AWS 
矩阵 , 则 204 是 自由 度 为 (M — a)? 一 1 的 渐 近 x? 分 布 。 
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根据 以 上 分 析 , 可 以 归纳 出 下 面 的 算法 89), 

算法 9.8.2 (有 效 秩 检 测算 法 ) 

步骤 1 Sd=1, 

R2 RER 名 :d= dad。 

PR 3 根据 自由 度 bear 一 由 (3M —d—1) 一 1 RER Â) R (M-Å? -1 (对 复 
JERE A) 的 x? 分 布 的 拖 尾 大 小 , 适当 选择 岗 门 值 yy。 

SRA 利用 式 (9.8.15) 计算 检验 统计 量 $1。 

PRS WR by < Yc(N) AURERE Â) BR 20 < eNEAN Â), 其中, eN) 
是 一 个 与 数据 长 度 有 关 的 常数 , 则 接受 H 假设 ， 并 停止 。 

FRG 如 果 j> qN), 就 拒绝 所 假设 ; Bd <m—2, WR d= d+ 1, 并 返回 
步骤 2。 否则 , 就 令 m= m +1, 继续 下 一 步 Lanczos ER. 

下 面 的 定理 给 出 了 有 效 秩 检 测算 法 强 一 致 性 的 条 件 . 

定理 9.8.3 99 对 于 由 式 (9.8.15) 定义 的 检验 统计 量 Wi 算法 9.8.2 确定 的 6 为 强 
BUEH, E eN) 满足 下 列 条 件 : 


1。 AN) 
Am N 0, im, ioglogN = oo (9.8.18) 


. 一 旦 d 确定 之 后 , 就 可 计算 式 (9.8.12) PHS MEE Tm 的 特征 值 (OL TE, 和 
特征 向 量 (ol pe, TEMES d 个 最 大 特征 值 对 应 的 d 个 主 特征 向 量 {of }¢_,. 期望 
求 出 的 特征 向 量 {i TOA yf = Qn 直接 计算 。 
结合 算法 9.8.2, 可 以 归纳 出 以 下 算法 M, 
算法 9.8.3 (快速 子 空 间 分 解 算法 ) 
JRI 适当 选择 ro =f, 它 满足 定理 9.8.1 PHA S m=1, = roll =1 Al 


d=1。 
R2 执行 第 m KZ Lanczos KR (算法 9.8.1)。 


RS 计算 RR AO 1 =1,2,---,m. 

PRA 对 =1,2,… ,m 一 1 计算 检验 统计 量 6 E dg < Yac(N), Me d=d ( 接 
受 Hy Hk), WHALER 5。 否则 , 令 m = m 十 1， 并 返回 步 台 2. 

HRS 计算 与 Krylov 子 空间 Km(4, 了) 相关 联 的 d PE RR 向 量 YL. 最 后 的 信 


STEEN Spanfy™, yf, yg} 
9.8.3 MFM Lanczos 和 迭代 的 快速 子 空 间 分 解 


= Lanczos 迭代 仅 适 用 于 Hermitian 算 阵 的 三 角 化 ,不 能 够 用 于 非 正方 的 奸 阵 。 由 
FRA BEM A 通常 可 写作 


N 

gi H 1 yu 
- -txux 9.8.19 
A wh x(t) = Xn Xn ( ) 


Ep, w(t) = mahet) euE] 为 行 向 量 , 而 Xy = [T172 TNYT 为 
N x M 数据 矩阵 。 
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算法 9.8.4 ( 双 Lanczos Weft }lt84 
BE X pipo = 了 (单位 范 数 向 量 ); bo = 1; ty = 0;j = 0 
while 3 £0 

Vit1 = p,/8® 

了 = 了 十 1 

ry = Xun; -AË uj: 


b; 
a% = rsll; 


pP = pi 

end 

类 似 于 三 Lanczos itt, A Lanczos XIR HÆ Lanczos 基 U, = [u], ug, te, u] 
4i Lanczos 基 V; = [v], 0,--- ,Vj] UR Bj: 

a? gO 
a) 
B,= 2 (9.8.20) 
» pe, 
a? 

下 面 的 定理 表明 , WERE Xy 使 用 双 Lanczos 迭代 等 价 于 对 样本 协 方差 


JERA 使 用 三 Lanczos 和 迭代. 
定理 9.8.4 ba 考查 任 一 NN x M EE X yo 对 XRX y 应 用 三 Lanczos BAe, JE 


对 X y 使 用 双 Lanczos 迭代 。 如 果 两 个 算法 使 用 相同 的 初始 值 ， 即 如 果 @ = v1 W 
Q)Q,=Vy. p=12,---.M 
(2) T; = BB, j=1,2,-.M 
根据 上 述 定理 描述 的 等 价 性 ,只 要 将 算法 9.8.3 中 的 三 Lanczos 迭代 换 成 双 Lanczos 
FEAR, 即 可 得 到 基于 双 Lanczos 迭代 的 快速 子 空间 分 解 算法 。 


本 章 小 结 


本 章 从 子 空间 的 代数 关系 和 几何 关系 入 手 , 介绍 了 子 空间 的 分 析 理 论 与 方法 : 

(1) 矩阵 基本 子 空间 ( 行 空间 、 列 空间 和 零 空间 ) 的 性 质 与 构造 方法 ; 

D 信号 子 空间 分 析 方法 和 噪声 子 空间 分 析 方 法 。 

为 了 适应 实时 信号 处 理 的 需要 ,本 章 还 专门 讨论 了 子 空间 的 实时 跟踪 与 更 新 的 方法 : 
(1) 基于 挑动 理论 的 子 空间 跟踪 ; 

(2) 修正 特征 值 分 解 及 其 递 推 更 新 ; 

(3) 基于 优化 理论 的 子 空间 跟踪 ; 
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(4) 快速 子 空间 分 解 。 
特别 地 ， 国 绕 基于 优化 理论 的 子 空间 跟踪 ， 重 点 介绍 了 Grassmann 流 形 、Sticfel 流 形 和 
投影 逼近 子 空间 跟踪 等 典型 方法 。 


习 a 
9.1 令 V 是 所 有 2 x2 和 矩阵 的 向 基 空 间 , 证 明子 空间 
w= {4:4= Es AE ad=0, w= of 
不 是 Y 的 子 空间 。 
9.2 SW BATH 3 x 3 斜 对 称 和 矩阵 的 集合 。 证 明 W 是 所 有 3 x 3 拖 阵 的 向 其 空间 


V 的 一 个 子 空间 ,并 求 其 张 成 子 空间 的 基 。 
9.3 OV 2x 2 Wee), HF 


w= {ara=[f 中 ， 42 为 任意 实数 } 


是 六 的 一 个 子 空间 。 若 
ok ce ei 

(1) 证 明 矩 阵 集合 {B1, By, By) 线性 相关 , 并 将 Bs 表示 为 Bl 和 By 的 线性 组 合 : 

(2) 证 明 {B1, B3} 是 一 个 线性 无 关 的 扼 阵 集合 。 

9.4 Pupun u, 是 有 限 维 的 非 零 向 其 空间 V 的 向 量 , 并且 S = {uuz up} 
为 一 向 量 集 合 。 判 断 下列 结 果 的 真 与 假 : 

(1) thy, thay ++) Uy 的 所 有 线性 组 合 的 集合 为 一 向 量 空 间 ; 

(2) Æ Tan uy, up} 线性 无 关 , 则 S 也 是 线性 无 关 的 向 量 集 合 ; 

(3) 若 向 量 集合 5 线性 无 关 , 则 5 是 向 量 空间 Y 的 一 组 基 ; 

(4) Æ V = Spanfaao ,Wp}， M S 的 某 个 子 集 是 V 的 一 组 基 ; 

(5) 车 dim(V) =p Ñ V = Span{u, Wz,… upp 则 向 量 集合 5 不 可 能 线性 相关 。 

9.5 ”判断 下 列 结果 是 否 为 真 : 

(1) 矩阵 A 的 行 空间 与 4T 的 列 空间 相间 。 

(2) 矩阵 4 的 行 空间 和 列 空间 的 维 数 相同 , WE 4 不 是 正方 矩阵 。 

(3) EE A 的 行 空间 和 零 空间 的 维 数 之 和 等 于 A 的 行 数 。 

(4) 矩阵 AT 的 行 空间 与 A 的 列 空间 相同 。 

9.6 邻 AA mxn, 在 子 空间 Row(A), Col(A), Null(A), Row(A7),Col(A™) 
和 Null(4T) 内 ， 有 几 个 不 同 的 子 空间 ? 哪些 位 于 Rm 空间 , 哪些 位 于 R 空间 ? 


Ti 
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9.7 TA MARRS W 为 向 量子 空间 , 或 举 反例 说 明 它 不 是 向 基 子 空间 : 


a a—b 

b 2a+b=c 3b 
wvf eu) | 

d a 


2a + 3b 
(BW) S a, be Akk 


3c-a b 


f8 2 9 2 
A=|-3 -2 -4|, w=| 1 
[5 0 5 -2 


判断 w 是 在 列 空间 CoA) 还 是 零 空间 Null(4)? 
9.9 在 统计 理论 中 常常 要 求 矩 阵 是 满 秩 的 。 若 矩阵 4 是 一 个 mmx? SEE, 其 中 , m > 
n RAR 4 满 秩 的 条 件 是 其 列 线性 无 关 。 
9.10 一 个 7 x 10 矩阵 能 否 有 二 维 的 等 空间 ? 
9.11 试 证 明 v 在 矩阵 A 的 列 空 间 Col(A) A, 苦 hu = Xe, HAZO. 
9.12 令 V FV, 的 列 向 量 分 别 是 Cn 的 同一 子 空间 的 正 交 基 , 证 明 VV Ea = 
VaVe, Yæ. 
9.13 $V 是 一 子 空间 , 县 S 臣 V 的 生成 元 或 张 成 集合 。 已 知 


-EIEREN 


RV 的 基 , 并 计算 dim(V). 

9.14 题 9.14 图 中 的 电路 由 电阻 RR (欧姆 )、 电 感 5 (亨利 ) 和 电容 C (法 拉 ) 和 初始 
电压 源 V 组 成 。 令 b= R/(2L), 并 假定 R, L,C 的 值 使 得 5 的 数值 也 等 于 1/ VEC (例如 ， 
伏特 计 就 是 这 种 情况 )。 令 v(t) 是 在 时 间 t 测 得 的 电容 两 端的 瞬时 电压 , 而 A 是 将 v(t) 
映射 为 Pu” 的 十 总 w 的 二 (LAC)o 人 的 线性 变换 的 零 空 间 。 可 以 证 明 , o PES H W, 
并 且 H 由 所 有 具有 形式 v(t) =e (c, + ot) 的 函数 组 成 。 求 零 空间 H 的 一 组 基 。 


R c 

| 

工 v 
题 914 图 电路 图 


9.15 一 质量 为 m 的 物体 挂 在 一 弹 签 的 末端 。 如 果 压 紧 该 弹簧 , 然后 再 释放 , 这 一 
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质量 - P@RARRAARS. BERE m GEREMEK y(t) eK 
y(t) = cı cos(wt) + cy sin(wt) 


HR, 其 中 , w 起 ~- 个 与 质量 m 和 弹簧 有 关 的 常数 。 固 定 w, 令 c 和 co 任意 。 
(1) EWR: 描述 质量 -RARAY y(t) 的 集合 为 一 向 量 空间 Ve 
(2) 求 向 量 空间 Y 的 一 组 基 。 
9.16 $ 


证 明 W 是 R 的 一 个 子 空间 。 
9.17 EARE 
1 3 1 4 
A=|2 4/, B=/2 -7 
5 了 5 -1 


求 列 空间 CoA) 和 Col(B) 之 间 的 主角 的 余弦 。 

9.18 4 AAI B BID m xn GK, JEE m > ne 证 明 

min. 4- BAIR = YI?CA)) -26,(B? A) + (0,(B)) 
QTQ=T, = 

式 中 ， oy(A) RAEM A 的 第 i 个 奇异 信 。 

9.19 假定 是 一 个 一 对 一 线性 变换 ， 并且 Tiu) = To) 总 是 意味 着 u = v. 证 
明 : BRAE (Tan), Teepe ,T(ty)} 线性 相关 ， 则 向 量 集合 fusun sey} 线性 
相关 。( 注 : 该 命题 表明 ,一 个 -对 一 线性 变换 将 线性 无 关 的 向 量 集合 映射 为 线 仁 无 关 的 
向 量 集合 。 


9.20 ”已 知 矩 阵 
2 5 -8 017 


1 3 -5 1 5 
| -8 -ll 19 -7 -1 
1 7 -13 5 -3 
试 求 其 列 空间 、 行 空 间 利 零 空间 的 基 。 

9.21 已 知 


-2 1 -1 6 -8 
A= 1 -2 -4 3 -2 


A= 


是 两 个 行 等 价 的 矩阵 ， 试 求 
(1) 矩阵 A 的 秩 和 零 空 间 Null(4) 的 维 数 ， 
(2) 列 室 间 Col(4) 和 行 空间 Row(A) 的 基 ; 
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(3) 如 果 希 望 求 零 空间 Null(A) 的 基 ， 下 一 步 应 该 执行 什么 运算 ? 
(4) 在 AT 的 行 阶梯 型 中 有 几 个 主 元 列 ? 
9.22 7 $ P 是 一 投影 算 子 ， 并 且 U = [itz tum] 的 列 向 二 组 成 值 域 
Range(P) 的 一 组 基 。 试 解释 为 什么 总 是 存在 Null(P)+ 的 一 组 基 V = [v1,v2,… Wms 
使 得 ww; = 0? 满足 这 一 正 交 关系 的 矩阵 UV 称 为 双 正 交 的 。 令 8 A 是 两 个 了 
空间 , 它们 具有 相同 维 数 m。 是 否 总 是 存在 双 正 交 的 UAV, 使 得 U 的 列 向 量 组 成 子 
空间 8 的 … 组 基 , 而 Y 的 列 向 量 是 H 的 一 组 基 ? 
9.23 $ 及 是 一 个 nxn MAREE, 证 明 : 
(1) (ColA)+ = Nal(4)。 
(2) R" 内 的 每 一 个 向 量 s 都 可 以 写作 w= 多 十 z, RP, $e Col(A4), ze Null(4)。 
9.24 考虑 - - 码 分 多 址 (CDMA) AK. CRA K MUP. BENE 1 为 期 望 用 户 ， 
特征 波形 向 量 a1 为 已 知 ， 并 满足 单位 能 量 条 件 (81, si) = sTsi = 1。 现 有 一 接收 机 的 
观测 数据 向 量 为 y(n), 它 包 含 了 K 个 用户 信号 的 线性 混合 。 为 了 检测 期 望 用 户 的 信号 ， 
希望 设计 一 多 用 户 检测 器 cl, 使 检测 器 的 输出 能 量 最 小 化 。 若 多 用 户 检测 器 服从 约 来 条 
the =a, +Diap, Ah, U, 称 为 干扰 子 空间 , 意 即 它 的 列 张 成 干扰 子 空间 。 求 干扰 子 空 
i U;. 


在 
归结 为 
类 问题 

投 
的 最 优 
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无 线 道 信 、 省 达 、 时 间 序 列 分 析 和 信号 处 理 等 领域 中 , 许多 问题 的 最 优 求解 都 可 
: 提取 某 个 所 希望 的 信号 ,而 抑制 掉 其 他 所 有 干扰 、 杂 波 或 者 噪声 。 投影 是 解决 这 
的 一 个 枢 为 下 要 的 数学 工具 。 

影 分 为 正 交 投影 和 斜 投影 两 类 。 当 两 个 子 空间 正 交 时 ， 沼 采用 正 交 投影 进行 参数 
估计 或 者 信号 的 最 优 滤波 ,因为 观测 数据 向 量 在 被 投影 的 子 空间 于 的 分 其 可 以 被 


抽取 ， 而 理论 上 还 可 以 完全 对 消 掉 观测 数据 向 量 在 另外 一 个 子 空间 的 分 其。 正 交 投影 


已 成 为 
BI 
其 在 一 


最 小 二 乘 参 数 估计 69、 阵列 信号 处 理 A Bae EB OF 中 的 有 为 工具 。 然 而， 
子 空间 不 正 交 , 则 正 交 投影 不 再 有 效 , 必须 使 用 斜 投影 , 才能 达到 抽取 观测 数据 向 
个 子 空间 上 的 分 量 , 而 完全 挤 制 它 在 另外 一 个 子 空间 上 的 分 基 之 目的 。 


本 章 系统 地 介绍 向 量 与 年 阵 的 投影 分 析 。 首先 , 将 给 出 投影 与 正 交 投影 的 基本 知识 。 


然后 ， 


将 分 别 从 数学 和 信号 处 理 的 角度 ， 引 出 投影 矩阵 与 正 交 投影 矩阵 的 定义 公式 。 接 
绕 投影 矩阵 与 正 交 投影 抱 阵 的 应 用 ， 展开 多 方面 的 讨论 。 特 草地 , 将 介绍 投影 算 


阵 与 正 交 投影 纸 阵 的 递 排 计算 ， 以 及 这 种 递 推 计 筑 在 自 适 应 滤波 器 设计 中 的 应 用 。 最 后 ， 
将 聚焦 于 斜 投影 矩阵 及 其 有 趣 的 典型 应 用 。 


10.1 ”投影 与 正 交 投影 


在 学 习 力 学 的 过 程 中 , 我 们 已 经 熟悉 图 10.1.1 所 示 一 方块 物体 在 斜面 上 重力 的 分 解 。 


9 


图 10.1.1 物体 重力 的 分 解 


图 10.1.1 中 , 物体 的 重力 g BHAT, 它 可 以 分 解 为 两 个 分 量 : 一 个 与 斜面 垂直 , 为 


物体 的 压力 u 另 一 个 与 斜面 平行 , 为 物体 的 下 滑 力 , WA g 二 4 十 v。 由 于 压力 与 
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WH o 相互 重 直 , 所 以 重力 的 分 解 9 = u+ v 属于 所 谓 的 正 交 分 解 。 
如 果 定 义 斜 而 的 法 线 (下 指 ) 向 量 为 w WEH u 可 视 为 重力 g 在 w 上 的 投影 , R 


示 为 
u = Projwg 


而 与 压力 u BANTRY v WEEN g 在 w 上 的 正 交 投影 , 记 作 


v = Proj 志 9 


10.1.1 ”投影 定理 


更 一 般 地 , 我 们 来 考虑 向 量子 空间 中 的 投影 与 正 交 投影 。 

众所周知 , 在 初等 几何 中 , 一 个 点 到 一 直线 的 最 短 距离 为 恒 直 由 离 。 推 而 久之 , 从 一 
个 点 到 一 子 空间 的 最 短 距 离 超 与 该 子 空间 正 交 的 距离 。 如 果 ze 五 ,而 M 是 向 量 空间 
五 的 一 个 子 空间 , tHe 不 在 子 空间 M A, 那么 最 短 距离 问题 就 是 求 向 量 y & M 使 得 
向 量 2 一 vy 的 长 度 最 短 。 如果 êe MEREN jx -èl 最 小 , Ue 称 为 向 量 = 在 子 空 
间 M 上 的 投影 。 

令 M 是 五 的 一 个 子 空 间 。 HEV 中 的 向 量 w, 现 希望 求 向 量 信 Ee M 使 得 


IIe ~ al] < lo- yl vyem (10.1.1) 


子 空间 M 中 满足 不 等 式 (10.1.1) 的 向 基 全 称 为 向 基 > 在 子 空间 M 上 的 投影 或 向 量 > 
的 最 优 二 乘 逼 近 。 直 观 上 , 向 量 多 是 子 空间 M 中 与 2 距离 最 近 的 向 量 。 

显然 , 上 述 问 题 的 求解 过 程 本 质 上 与 最 小 二 乘 问题 等 价 。 需要 注意 的 起 , HM 是 五 
的 一 个 无 穷 维 的 子 空间 , 那么 向 量 z 到 子 空间 M 的 投影 就 有 可 能 不 存在 。 但 是 , 如 果 
M 是 有 限 维 的 子 空间 , 向 量 e 到 该 子 空间 的 投影 就 一 定 存在 ， 并 且 唯 一 。 

定理 10.1.1 (投影 定理 ) 令 HH 是 向 量 空间 , TM 是 吾 内 的 n PSA. 车 对 于 
在 中 的 向 量 s, ETER M 内 有 一 个 向 量 名, 使 得 一 全 5M 中 的 每 一 个 向 量 y 都 满 
足 正 交 条 件 ， 即 


地 一 他,21) =0 {10.1.2) 


则 不 等 式 lz -êl < le- yl 对 于 所 有 向 量 ye M 成 立 ， 并 且 等 号 仅 当 y = è RZ. 
证 明 计算 向 量 范 数 的 平方 ,直接 得 


læ - yl? = (e+ 
= (z - &)"(@ — 8) +2(æ — å)" (ê — y) + (ê - y)" (ê - y) 0) 


由 于 (zz 一 2)Ty = (s 一 多 ,y) =0 对 于 每 一 个 向 量 y eM 均 成 立 , BOT M 中 的 向 量 全 
ARM. TÆ, 有 


(@ — @)"(@— y) = (z —&)"& — (@— 2) "y= 0 
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将 这 一 结果 代入 式 (1), 立即 有 le- yl? = je- êl? + jè - yl? > |e — 2, SSS 
y= BME» E 
定理 101128. 当 M 是 有 限 维 的 子 空间 时 , 向 量 z 到 该 子 空间 的 投影 & 唯一 存 
在 。 类 似 地 , 向 量 = 到 子 空间 M 的 正 交 补 M+ 上 的 投影 则 称 为 正 交 投影 。 
a 到 子 空间 M 上 的 投影 名 常用 数学 符号 缩写 为 
$= Puzr, EM (10.1.3) 


其 中 , Py 代表 到 闭 子 空间 M 上 的 投影 映射 , 习惯 称 为 投影 筑 子 。 如 图 10.1.2 所 示 , (1—2) 
是 从 z 到 M 的 垂直 线 。 


“RR” [lx — ĉl 


“ERR” Ê 


“FRR È “ 非 最 优 ”全 


图 10.1.2 ”投影 定 埋 的 几何 解释 
给 定 一 个 向 量 空间 H -ATER M 和 一 个 元 素 ze 万 , 定理 10.1.1 表明 ,，M 内 
与 z 最 接近 的 元 素 (H è c M) 是 唯一 的 ， 它 满足 方程 
(2-Zy)=0, Vye M (10.1.4) 
式 (10.1.4) 给 出 了 s 在 子 空间 M 内 的 最 佳 ( 均 方 ) 预测 子 ê = Pys 应 该 满足 的 方程 ， 
称 之 为 预测 方程 。 
令 M+ 表示 子 空间 M 的 正 交 补 。 投影 Pur 具有 以 下 性 质 62; 
Q) Pylaw + By) =aPuyz +BPMY, 2yeH; o,8EC. 
(2) lel? = [Pux]? +E- Puel? 
(3) 每 一 个 ze M 都 具有 以 下 的 唯一 表示 ; 


æ= Pyet(I—Py)e ( 正 交 分 解 } {10.1.5) 


即 = 可 以 唯一 分 解 成 M 的 元 素 与 M+ 的 元 素 之 和 。 
(4) Pyt, — Pye F |x, — al] 30. 
(5) we M 当 且 仅 当 Pye ae 
(6) ee M+ SHR Pye =0. 
(7) M, C Mp HERA Py, Pmt = Pye 对 所 有 ze H ERE. 
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10.1.2” 均 方 估 计 
一 个 集合 M C Ly 称 为 正 交 随 机 变量 系 , 若 对 每 个 Ene ME Xn) WH EL ye t 
别 地 , 若 对 每 一 个 te M 均 有 lle = 1, 则 称 M 起 一 标准 正 交 系 。 
许多 工程 问题 都 可 以 归结 为 ， 给 定 个 数据 向 量 ye, Na MARE n 个 常数 
apan ,Qn， 使 得 用 线性 组 合 Ê -Dom 拟 合 末 旬 的 随机 变量 € 时 , UA (或 估计 ) 误 
Ane 
e=€-€=€-S an, (10.1.6) 


n 2 
=» {le Soe, } (10.1.7) 
isi 


为 最 小 。 在 参数 估计 理论 中 , 称 这 样 的 估计 值 为 & 的 最 佳 线性 均 方 估计 171820, 
定理 10.1.2 (L, 空间 的 投影 定理 ) 车 数据 向 量 moon 组 成 标准 正 交 系 , 则 
随机 变量 g 的 最 佳 均 方 估计 由 


的 均 方 值 


E=5 Enim (10.1.8) 
i=l 
确定 。 
证 明 注意 到 M = {94,92,… ,TIn} 是 一 标准 正 交 系 , 故 
(Sean Soom) -5 
=1 


另 一 方面 ,a2 ~ 20,48, n) = la; 一 (Em)? -E nA. AL ae RK (10.2.6), 即 得 


n 2 n 2 
P=E (e- Zeen) = fe- San 
t1 i=l 
= (Ge TÈ aao £- Sam) 
= lel? - 2D a Em) + (Sam Sem) 


= lle? - 2 a6, m) + 


a1 


= fell? - Er (P+ Sle, no? 


wel 


> el? + wie ay? 


i=1 
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等 号 成 立 的 条 件 是 a; = (Em) W Yola — (En? = 0. 就 是 说 ,当局 取 式 (10.1.8) 的 


t=1 
形式 时 P 为 最 小 。 这 就 证 明了 6 22 € 的 最 佳 均 方 估计 。 E 
定义 10.1.1 { 线 性 流 形 ) OM 是 五 空间 的 子 空间 , 工 代表 M 内 的 有 限 个 元 素 


的 所 有 线性 组 合 的 全 体 , 即 一 fe :二 于 a me Mb. BL Ait M ANRE 
i=l 


流 形 。 
下 面 解释 最 佳 线性 均 方 估计 (10.1.8) 式 的 几何 意义 。 考虑 以 下 分 解 : 


E=ê+(E-Ê) (10.1.9) 
可 以 证 明 , 上 述 分 解 就 是 正 交 分 解 , BD Et (€-€). Ait, 只 要 等 价 证 明 E{é(& Ê)} = 0 
Bm. 证 明 是 简单 的 , 因为 
le 一 村- { [enon] k -Pe m] ) 
jal 这 1 


=E {een -E (Se on 


j=1 i=l j=l 


= PELE, mH? -J SOE m ELE n EO mt 
jal $ 


=1 j=l 
= DEE ap}? ~ EE nH 
j=l ii 
=0 
在 得 到 倒数 第 二 式 时 , 利用 了 moio onn 的 标准 正 交 假设 Bf (ny, my)} = 55， 其 中 ， 5 


为 Kronecker 6 消 数 。 
图 10.1.3 画 出 了 式 (10.1.9) 的 正 交 分 解 , 其中, i 和 i 分 别 为 长 度 为 1 的 向 基 。 


(b) 
图 10.1.3 EX 


很 自然 地 , 称 上 一 上 ATRN L, 并 称 È E E 在 线性 流 形 工 上 的 投影 。 因 此 ， 
常用 投影 ProjfElogi no Mn} 表示 已 知 数据 向 量 办 ,12，,… my 情况 下 未 知 参数 向 量 
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€ 的 均 方 估计 。 这 就 是 为 什么 把 定理 10.1.2 称 为 Ls 空间 的 投影 定理 的 缘故 。 

此 外 , 有 时 也 使 用 符号 En n,n} RAMA A om, ,1 KE 
fy € 均 方 估 计 。 

Za 空间 的 投影 定理 提供 了 求 最 住 线性 均 方 估计 的 方法 ， 但 要 求 所 给 定 的 全 部 数据 
No Nos My 起 标准 正 交 的 。 在 已 知 数据 向 量 不 正 交 的 一 般 情况 下 , 应 该 利用 预 白化 , 将 
原来 非 正 交 的 数据 向 其 先 白化 成 具有 零 均值 和 单位 方差 的 标准 白 噪声 (它们 是 标准 正 交 
的 )。 然后 , 对 白化 之 后 的 数据 向 量 使 用 投影 定理 求 均 方 估计 。 

在 某 些 情况 下 , 可 以 很 容易 求 得 向 基 s 到 子 空间 M 的 投影 。 

定理 10.1.3 4 H 是 一 内 积 空间 , xi H 中 的 一 个 向 量 。 若 M Æ HHH n 
维 子 空间 , 并 且 {unun ,at} 是 子 空间 M 的 一 组 正 交 基 向 量 , 则 


læ- êl < lle- yli 


5HRS 


(m) a p pasg Artal y, G01.10) 


è= lin, ty) Tirna ttn) 


《ua u1) 
这 一 定理 的 意义 在 于 : 当 M 是 内 积 空间 H 的 有 限 维 子 空间 时 ， 可 以 先 求 出 子 空间 
M 的 一 组 正 交 基 向 量 {uua un} (例如 使 用 Gram-Schmidt 正 交 化 方法 ); 然后 , 再 
根据 式 (10.1.10) 计算 向 量 s 在 子 空间 M 上 的 投影 多 。 
不 过 , 在 一 般 情况 上, 一 个 向 量 到 某 个 子 空间 的 投影 并 不 能 简单 求 得 。 尤 其 是 在 实时 
信号 处 理 中 , 感 兴趣 的 向 量 往往 是 随时 间 变 化 的 , 它 到 某 个 子 空间 的 投影 也 是 随时 间 变化 
的 。 下 面 各 节 将 对 投影 和 正 交 投影 作 更 深入 的 分 析 。 


10.2 ”投影 矩阵 与 正 交 投影 矩阵 


att 


在 上 一 节 的 讨论 中 ,只 十 简单 地 提 及 了 投影 算 子 这 一 术语 。 本 闻 对 投影 算 子 展开 
门 分 析 。 AT BBS SEE OR, ATOR 


10.2.1 WER 


任何 一 个 满足 宕 等 关系 A = A ERE A RESO, 容易 验证 , 单位 矩阵 也 是 
RE, 但 在 以 后 的 讨论 中 , 假定 等 等 矩阵 不 取 单 位 矩阵 的 形式 , 除非 男 有 申明 。 

RSA AY PAA Ee 01, 

(1) FESPA EA RRR 1 和 0 两 个 数值 。 

(2) BRAT ARSE (单位 矩阵 除外 ) A 都 是 奇异 矩阵 。 

(3) 所 有 党 等 矩阵 的 秩 与 迹 相等 ， 即 rank(A) = tr(4)。 

(4) 车 4 为 最 等 矩阵 , 则 AY ARGE, 即 有 ATAT = AF 
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(5) E AWARE, 则 I,- A 也 是 特等 矩阵 ,日 rank(1,, — A) = n—rank(A). 
(6) 所 有 对 称 的 察 等 矩阵 (单位 矩阵 除外 ) 都 是 六 正定 的 。 

(7) A nxn BEERE A 的 秩 为 ra, 则 4 有 ra 个 特征 值 Al nrg 个 特征 值 0。 
(8) 所 有 的 察 等 矩阵 A 都 是 可 对 角 化 的 : 


aayy En O 
U 40-25- |g o (10.2.1) 


式 中 , ra = rank(A)。 

{9) 一 个 对 称 的 窜 等 矩阵 4 可 以 表示 为 4 = LL, Hh, 工 满足 LTL = Ire 

证 明 下 面 给 出 性 质 (1) ~ 性 质 (4) 的 证 明 。 

(1) 根据 矩阵 特征 值 的 定义 与 性 质 知 Au = Au 和 Au = Xu。 因 此 ,对 于 窜 等 矩阵 
A = A, H Xu = àu, Yu A 00 这 说 明 , E (A u) 是 投影 算 子 的 特征 对 ， 则 (X2,w) 也 
一 定 是 投影 算 子 的 特征 对 ， 即 投影 算 子 的 特征 值 具 有 “等 等 性 ”入 = X2， 其 解 为 入 = 1 或 
A=0, 即 投影 算 子 PP 的 特征 值 只 取 工 和 0 这 两 个 值 。 

(2) REGERE A? = 4 的 行列 式 , 有 |A? = [A], 即 AP = |A}, i [Al = 1 3È 
[A] = 0。 因此 , 除 单位 矩阵 以 外 , 所 有 其 他 的 第 等 算 阵 的 行列 式 都 等 于 零 , 即 所 有 其 他 寡 
等 矩阵 都 是 奇异 的 。 

(3) 对 于 任何 一 个 矩阵 而 言 ， 它 的 秩 等 于 非 零 特 征 值 的 个 数 。 由 于 靠 等 矩阵 4 的 特 
征 值 只 取 1 和 0 两 个 值 ， 故 千 等 矩阵 的 秩 等 于 特征 值 的 个 数 。 又 由 n x n HERS 
特征 值 的 关系 式 


n 
tr(A) = JDA = A tA H An 
i=l 


易 知 ,， 知 等 矩阵 的 迹 等 于 特征 值 1 之 和 ( 即 特征 值 1 的 个 数 }。 因 此 , FESR AE 


相等 。 
(4) 当 4 ARIER, 易 知 


ANAM = (AA) = A7 


即 AY 2 SEG SERE a 
SESE RHEE RAR 0 和 1, 但 是 特征 值 只 取 0 和 1 PEETERS 


JERE. lin, 

if u 3 3 

B=- 1 1 1 

8| 12 -4 -4 
有 三 个 特征 值 1, 0 和 0, PERE, 因为 
if HH 3 3 
B= z 0 0 0|#B 

-ll -3 -3 


与 宕 等 矩阵 的 定义 相 类 似 , 满足 A? = O (FHER) 的 矩阵 A 称 为 宕 零 矩 阵 (nilpotent 
matrix), 而 满足 A? = I (AER) 的 矩阵 4 DUPRE 1 矩阵 (unipotent matrix) 444), 
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ERE 4 xn ERAN (tripotent matrix), # A? = A. 

容易 看 出 , 若 AN CEEE, 则 -A BRS. 

需要 注意 的 龙 ， 一 个 二 守 矩 阵 不 一 定 古 宕 等 矩阵 ， 虽 然 一 个 寡 等 矩阵 肯定 是 三 知 矩 
阵 (ANG A? = A, 则 A? = AA = AA = 4)。 为 了 证 明 这 一 点 , RINKS ROS 
的 特征 值 。 

令 A BORER 4 的 特征 值 , 并 且 u 是 与 之 对 应 的 特征 向 量 , 即 有 


Au = Au 


FRACTAL A, WAT 
Au = AAu = du 


AH A 左 乘 上 式 两 边 , 立即 有 


A'u = Au = A 


由 于 4 = 4 为 三 赛 矩 阵 ， 上 式 又 可 写作 Au = Au, WERE Rt 
和 = AS, BISA PEAY HELA —1,0,+1 三 种 取 值 的 可 能 ,这 与 千 等 矩阵 的 特征 值 只 取 
0 和 +1 两 种 值 不 同 。 从 这 个 意义 上 讲 ， 守 等 矩阵 是 没有 特征 值 为 -1 ARS RABE. 
10.2.2 ”从 数学 角度 看 投影 矩阵 

考虑 向 量 空间 C 的 直 和 分 解 C = S@ H. 

定义 10.2.1 B83 考虑 向 量 空间 C= Seu 内 的 任意 向 量 pe C"。 若 z = 2, +e, 
满足 zl ESA æE H, 并 且 a, 和 za 是 唯一 确定 的 ， 则 称 映射 Pe = zi 是 向 量 z 沿 
着 子 空间 五 的 方向 , 到 子 空间 $ 的 投影 , 并 称 PP ERE H 的 方向 , 到 5 的 投影 算 子 
(projector onto $ along H), 常 简 记 为 Pix. 

根据 定义 易 知 ， 投 影 算 子 P 是 线性 齐 座 算 子 ， 并 且 在 z, = Pz 的 情况 卜 ， 满 足 
£ =x; +2, 的 zs H g= ag Pes (I Pe 唯一 确定 .因此 , 利用 投影 算 子 ， 复 向 量 
空间 Cr 的 任何 一 个 向 基 x 都 可 以 唯一 分 解 为 


x= P+ (F -Pe (10.2.2) 


这 表明 , E P 是 沿 着 子 空间 H 到 子 空间 S 的 投影 算 子 ， 则 O- P) 就 是 沿 着 子 空间 5 
到 子 空 间 H 的 投影 算 子 。 
定理 10.2.1 线性 齐 次 算 子 P 是 投影 算 子 , 当 且 仅 当 P ERER, El 


P=P (10.2.3) 


证 明 $ P 是 沿 着 子 空间 H 的 方向 到 子 空间 s 上 的 投影 算 子 。 容 易 看 出 ,车 
ues, 则 %w 灌 着 五 的 方向 到 5 的 投影 就 是 向 其 u £4, 即 Pusu 因此 , 有 


Pu= PPu=Pu Vues 
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从 而 得 P? =P, 即 必要 性 得 证 。 
下 面 证 明 充分 性 。 为 此 , 令 P REGRETS, H P? = P. TER 
Pr= Pz, V2ec” 
=> Po = P’æ + P(I— Pz, Yee” 
> Pæ = P|P + (I — Pls, veec" 
> g= Pæ +(I- Pr, Veec” 


满足 式 (10.2.2), KH P 是 投影 算 子 。 B 

从 上 述 定理 ,很 自然 地 可 以 引出 投影 算 子 的 定义 。 

定义 10.2.2 FRAMERS P 称 为 投影 算 子 , 车 它 具 有 第 等 性 , 即 P? = PP =P. 

由 和 矩阵 值 域 的 定义 知 , 满足 wm = Pz 的 所 有 向 基 o, 的 集合 定义 投影 算 子 P 的 值 
ih, 即 子 空间 S = Range(P). RH, 满足 zy = (I 一 也)z 的 所 有 向 量 zs 的 集合 定义 
投影 算 子 (I-P) 的 值 域 , 即 子 空间 H = Range(I - P). 

根据 子 空间 直 和 的 定义 , 式 (10.2.2) 所 示 的 向 量 的 唯一 分 解 可 以 等 价 写作 子 空间 的 
EMEA: 

C” =S 8 H = Rangel P) © Range(I — P) (10.2.4) 

即 子 空间 Range(P) 和 Range(I ~ P) 无 交 连 , 或 者 Range(P) N Range(I - P) = 0。 

BAH, 子 空间 Nul(P) 与 Range(P) H-HHARKAL AM, 斯 Null(P) mn 
Range(P) = {0}。 这 是 因为 如 果 一 个 向 量 s e Range(P), 则 Pe = z; MHA z RES 
空间 NAP) A. 则 Pa = 0。 从 而 得 > = 0。 换言之 , 子 空间 Range(P) 和 Null(P) 共 
有 的 向 量 为 零 向 量 ,。 由 Range(P)N Rangel — P) = {0} 及 Range(P)mNall(P) = {0} 知 
Range(I — P) = Null(P). 于是, 式 (10.2.4) 可 以 改写 为 


C” = 8 @ H = Range(P) @ Null(P) (10.2.5) 


反之 , 每 一 对 构成 Cn 的 直 和 的 子 空间 3 和 EERE FOP, 其 值 域 Range(P) 
为 一 子 空间 , 其 零 空间 或 核 NUP) 为 另 一 空间 , 即 有 S= Range(P),H = Null(P). 而 
H, REAT 已 是 一 线性 映射 , 它 道 过 唯一 的 分 解 


z= 2 十 oa 一 Pr 二 (一 疡 )m (10.2.6) 


将 Cr 的 任意 一 个 向 量 z 映射 为 8 子 空间 的 分 量 z MH 子 空间 的 分 其 r FKE, 
这 样 一 种 对 应 关系 是 唯一 的 : RAT A CRESS ME Re, EAS 
间 构 成 复 向 量 空间 Cm 的 直 和 。 

需要 强调 指出 的 是 , ER (10.2.6) 的 唯一 分 解 中 ， 并 不 能 保证 a, 和 zs 相互 正 交 。 
然而 , 在 很 多 实际 应 岂 中 , BERS a Co 的 任 一 向 量 在 两 个 了 空间 的 投影 s 
和 ws EX. 这 样 一 种 特别 重要 的 特殊 情况 要 求 零 空 间 H 是 值 域 5 的 正 交 补 , 即 


Null(P) = Range(P)+ 
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称 复 向 量 空间 C™ 的 分 解 C = S@ HATER, ATER 互 是 8 的 正 交 补 , BD 
五 = 5+。 换言之 , 子 空间 瑟 内 的 任意 向 量 v 与 子 空间 5 内 的 任意 向 量 u HEX, WE 
(uv) =0, Yu € Sv eH. 因此, 复 向 量 空 间 的 正 交 分 解 为 


C” = Range(P) © Range(P)+ (10.2.7) 


A, Range(P)+ 是 Range(P) 的 正 交 补 。 

EX 10.2.3 沿 着 正 交 补 3+ 的 方向 , 到 子 空间 5 的 投影 算 子 Pog. 称 为 正 交 投 影 
算 子 (orthogonal projector)。 

下 面 的 定理 给 出 了 正 交 投影 算 子 的 充分 必要 条 件 。 

定理 10.2.2 P FARHAT P 是 正 交 投影 算 子 ， 当 昌 仅 当下 列 两 个 条 件 都 
满足 : 
O RAF ERAT, 即 P? = 已。 

(2) 线性 算 子 具 有 Hermitian 性 ( 复 共 轮 对 称 性 ), 即 PE = P. 

ER ”充分 必要 条 件 (1) 已 包含 在 定理 10.2.1 H, 央 此 只 需要 证 明 充 分 必要 条 件 (2) 
即 可 。 观察 知 ,对 杆 复 向 量 空间 Co 内 的 任意 向 量 = 而 言 , 如 果 P 是 一 正 交 投影 算 子 ， 
WR (10.2.2) 中 两 个 投影 分 量 之 间 的 内 积 应 该 等 丁 零 , 即 有 


{Px,(I— Po)=0 Veeco" 
> (æ, PĦ(I — P)x)=0 Va eo" 
= PHI- P=0 
= PE = pip 
> PP = P=(P%F=(pHpyH = PHP 
sP =P 


即 必 要 性 得 证 。 上 面 证 明 充分 性 。 若 PH = P, 并 注意 到 P ARGAT W 


PH. P= PH = p?— pip 
= P"Ë(I - P)=0 
= (x, P"(I — P)z)=0 vee c™ 
> (Px, (U — Piz)=0 YzEeCn 
E æ= Pr+ (I - Pje 为 正 交 分 解 , 从 而 P 是 一 正 交 投影 算 子 。 充 分 性 得 证 。 a 
由 定理 10.2.2, 可 以 很 自然 地 引出 正 交 投影 算 子 的 定义 。 
定义 10.2.4 FRAT P 称 为 正 交 投影 算 子 , 车 它 是 蜗 等 算 子 和 Hermitian 算 
F, 即 同时 满足 P? = P fl PH = pP 
如 果 具 和 体 强调 齐 次 线性 算 子 P 是 到 子 空间 5 的 正 交 投影 算 子 ， 则 必须 增加 一 个 条 
件 : 子 空间 8 是 线性 算 子 P 的 值 域 或 列 空间 , 即 Range(P) = S$. AU, P 可 能 是 到 其 
他 子 空间 的 正 交 投影 。 
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根据 定理 10.2.2 和 定义 10.2.3 易 知 , 若 P 是 一 正 交 投影 算 子 , 则 了 一 PP 也 是 一 正 交 
投影 算 子 。 理 由 如 下 : 首先 U- P) RASH, WW 


(-P)=U-P)\I-P)=1-2P+P?=I-P 


式 中 , 使 用 了 P ERRER THR, CAPES P? =P. 其 次 , (I - P) EPH 
正 交 补 ，, 因为 


{I~- PlHP=P- PHP=P- PP=0O 
式 中 , O ASAE. 
现在 讨论 投影 算 子 经 过 某 些 运 算 后 , 仍然 能 够 保持 为 投影 算 子 的 条 件 (01 1516) , 
定理 10.2.3 X E, 和 E, 均 为 正 交 投影 算 子 , M E, +E, 为 正 交 投影 算 子 ， 当 且 
仅 当 


EE, = EE =O (10.2.8) 


即 E, 和 E, 无 交叉 项 。 
证 明 充分 性 。 当 E, 和 如 s WBS YT, FAME (10.2.8) 时 ， 易 知 


(E, +E) = E? + E} = E, + E, 
另外 车 E, ME, 为 投影 算 子 , 则 它们 分 别 具 有 Hermitian 性 , 从 而 有 


(E, + Eo) = EÏ + BË = E + En 


即 E, + E, 也 具有 Hermitian 性 能 。 AUK, E, +E, 为 正 交 投影 算 子 。 
必要 性 。 由 (E+E) =E, + E, 立即 有 


E, E, + E,E, =0 0) 
上 式 分 别 左 乘 和 右 科 E FAH E? = By, NG 
E,E,+E,E,E,=0, E,8,E,+E,E, = 


两 式 相 减 ， 则 E, E, = EE 将 这 些 结果 代入 式 (1), 立即 得 到 式 (10.2.8)。 a 
定理 10.24 车 E 和 E, 均 为 正 交 投影 算 子 , 则 E- E, 为 正 交 投 影 算 子 ， 当 且 


仅 当 | 
EE, = E,B, = E, {10.2.9) 
证 明 F,- EE 为 正 交 投影 算 子 ， 当 上 且 仅 当 了 一 (1 - By) REO. HT 
1-(E,-E,)=(I- E,)- Er 故 E,- E, 为 正 交 投影 算 子 , 当 且 仅 当 (I-E) + By 
是 正 交 投 影 算 子 。 据 定理 10.2.3 4, (7 - E) +E, 是正 交 投影 算 子 , 当 且 仅 当 


U- E)E= E,(I- £,)=0 


上 式 邮 是 式 (10.2.9) 的 等 价 表 示 。 E 
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定理 10.2.5 # E, A E, 为 正 交 投影 算 子 , HHH 


E,E, = EE (10.2.10) 


则 EE, 是 正 交 投影 算 子 。 
由 于 投影 算 了 U- P) 与 P 都 是 正 交 投影 算 疗 ,而 且 它 们 相 写 正 交 , 为 便于 区 别 ， 
常 将 P RARE, MERKEZE P+ = 1 - P 则 称 为 正 交 投影 矩阵 。 
' 面 讨论 投影 矩阵 的 构造 方法 。 

为 方便 计 , 令 m x m 投影 矩阵 P 有 > 个 特征 值 为 L 另外 各 一 > 个 特征 值 为 0。 于 
是 , 投影 矩阵 可 以 写作 


m r 
P= Anu = Cael (10.2.11) 
i=l ist 


考查 任意 一 个 由 xl 向 量 z 的 投影 y= Pz, 则 “ 
y= Pz= > um = Soka) ta, (10.2, 12) 
1 i= 

式 (10.2.12) as T BEER AIA EH: 

(1) AE x AIRES P 投影 后 , 向 量 s 与 投影 矩阵 中 具有 特征 值 1 的 特征 向 
量 相关 的 部 分 zHu; (i = 1,2,… ,7) 在 投影 结果 Pz 中 被 完整 保留 。 
(2) 向 量 a 与 投影 挫 阵 中 具有 特征 值 0 的 特征 向 基 相 关 的 部 分 zau (i =r + dr + 
2,… m) 被 投影 矩阵 全 部 对 消 , 不 出 现在 投影 结果 Px 中 。 
ub, SER P 是 只 具有 特征 值 0 和 1 的 宪 等 矩阵 时 ， 变 换 结果 Po 是 向 量 w 在 
P 那些 具有 特征 值 1 的 特征 向 量 上 的 投影 (s"u) u (i= 1 2 ,7) 2. “BO 
BE” 由 此 而 得 名 。 
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现在 , 我 们 从 信号 处 理 的 角度 讨论 投影 乍 阵 。 
如 图 10.2.1 所 示 ， 将 离散 时 间 的 滤波 器 视 作 一 个 投影 算 符 或 算 子 ,不妨 令 其 为 Po 
设 滤波 内 在 离散 时 间 n 的 输入 向 量 为 


z(n) = [2(1),2(2),--- , zr(n)]T (10.2.13) 


它 是 信号 向 量 a(n) SEGRE w(n) 的 混合 , 即 a(n) = s(n) + oln) 


待 滤波 的 数据 P 信号 估计 a(n) 
a(n) = a(n) + v(m) 


图 10.2.1 滤波 器 的 投影 算 子 表示 
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DUA AE E s(n) 通过 滤波 器 P 后 , 得 到 滤波 后 的 数据 向 量 即 信号 
向 晤 的 估计 a(n) = Pz(n)。 下 面 分 析 对 滤波 器 算 了 于 P 应 该 有 哪些 基本 要 求 ? 为 简便 计 ， 
省 略 向 量 s(n) 和 a(n) 等 中 的 时 间 变量 , 将 它们 分 别 简 记 为 。 和 z。 
(1) 为 了 保证 信号 道 过 滤波 器 后 不 臻 发生“ 畸变 ”, 投影 算 子 PP 必须 起 一 线性 算 子 。 
(2) 当 滤 波 器 输出 3(n) 再 次 通过 滤波 器 时 ， 信 号 估计 3(n) 不 应 发 生 任何 变化 。 这 
意味 着 PPz = Pr = 8 必须 得 到 满足 。 这 一 条 件 等 价 为 
p? 4! pp = 了 (10.2.14) 
HSU RBA P UAE SR ERT. 
(3) 由 于 信号 估计 为 3 = Pa, 因此 z - Pz 代表 滤波 器 的 估计 误差 。 根据 正 交 性 原 
理 的 引 理 , 当 滤 波 器 工作 在 最 优 条 件 时 , 估计 误差 e- Px 应 该 与 期 望 响 应 的 估 
计 值 Px EX, 即 


[z - Pali Pæ (10.2.15) 


或 用 向 量 的 内 积 形式 等 价 写作 
(I — P)æ, Px) = zi(I - PS)Pz =0 


上 式 应 该 对 任意 含 白 噪声 的 数据 向 量 2 恒 成 立 , 故 有 P- PP = 0。 容易 验证 ， 
这 一 关系 成 立 的 充分 必要 条 件 是 
Pi=P (10.2.16) 
即 投影 算 子 应 具有 复 共 斩 对 称 性 或 者 Hermitian 性 。 
总 结 以 上 讨论 ， 作 为 滤波 器 的 投影 算 子 必须 是 ~ 个 线性 算 子 ,并且 具 有 和 客 等 性 和 复 
FET ERE. 
如 前 所 述 ， 当 我 们 提 及 正 交 投影 时 ， 一 般 应 该 强调 它 是 到 哪 一 个 子 空 间 上 的 正 交 投 
影 。 央 此 , 到 辣 一 个 矩阵 的 列 空 间 和 行 空间 的 正 交 投影 是 不 相同 的 。 下 面 两 小 节 分 别 讨 
论 这 两 种 情况 。 
10.2.4 ”到 列 空间 的 投影 矩阵 与 正 交 投影 矩阵 


Qmx n RER 4 是 一 个 列 满 秩 矩 阵 ， 即 rank(A) = ne WER A 的 列 空间 
C(A) = Col( A) = Range(4)。 一 个 自然 会 间 的 问题 是 ， 如 何 构造 到 列 空间 C(4) 的 投影 失 


SE Pea? 
ETHER 4 的 秩 为 n, 只 有 n 个 非 零 奇异 值 cca，，… on) MA 的 奇异 值 分 解 
H E, H H 
A=UEV" =|U,, Ua] low veal visu, EV (10.2.17) 


的 对 角 和 矩阵 E = diag(a onn) 并 且 
Uy = [t ttn tal, Ua = [tinpi Unya tm (10.2.18) 


RHEE n MERA RAR m-n PERM AY TH MER. 
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在 第 9 章 , 我 们 曾经 得 到 关于 列 空间 的 两 个 重要 结果 ; 
(1) 与 非 零 奇异 值 对 应 的 n 个 左 奇异 向 量 u, wa，…… an 是 列 空间 C(A) 的 标准 
TERE, 即 有 
Col(A) = Spanfaayats , tn} = Span(U,) (10.2.19) 


(2) 与 零 奇异 值 对 应 的 m 一 n 个 左 奇 异 向 量 Unyi Un gos s+ ,tym ALPEN] Null(A®) 
的 标准 正 交 基 , 即 
Null(A®) = (Col 4) = Span{ttayi, Unio Em} = Span(U,) {10.2.20) 
MJER A Xt nx 1 向 量 > PEE, 得 到 m x 1 Abby = Ao, 则 向 量 y 可 以 表 
RA 


y= As = 3 onu(ogo) = Sova) (10.2.21) 
i=l i=l 


SUR, as = vfs 是 特征 向 量 v 与 向 量 z MAR. A (10.2.21) 表明 , 线性 变换 结果 2 = Ar 
是 矩阵 A 的 左 奇异 向 量 的 线性 组 合 。 
mxn 线性 变换 A 的 投影 矩阵 Ps 将 所 有 m x 1 向 量 = 投影 到 由 线性 变换 A 定义 
的 子 空间 。 HEER P, 与 线性 变换 A 具有 相同 的 特征 向 基 : nm MAHER ERATE 
特征 值 , 其 他 m-n 个 特征 向 量 与 特征 值 0 相对 应 。 由 于 投影 矩阵 只 有 特征 值 1 和 0， 
DERRER n 个 特征 向 量 与 特征 值 1 对 应 , 其 他 m-n 个 特征 向 量 与 特征 值 0 对 
应 。 换言之 , 投影 矩阵 的 特征 值 分 解 具 有 以 下 形式 : 
I, Onxrm uF 
Pa = Ulan on on | 图 
=u,uU# (10.2.22) 


另 一 方面 ,由 式 (10.2.17) 可 求 得 
A(A, A) 1AH = A(AHA) tA" 
=U, DVIV DU BVI) V EUR 
=U 2,V4(veive) VEUY 
=U DVIV Do VIVE UY 
-UU (10.2.23) 
比较 式 (10.2.22) 和 式 {10.2.23)， 立 即 得 到 矩阵 A 的 投影 矩阵 Pa 的 定义 式 : 
Pa = A(A, A) 1AN (10.2.24) 
那么 , 如 何 构造 具有 线性 、 赛 等 性 和 对 称 性 的 投影 算 子 或 投影 矩阵 昵 ? 下 面 的 定理 给 


出 了 问题 的 答案 。 
定理 10.2.6 # Mx N (M > N) 矩阵 4 满 列 秩 , 则 投影 矩阵 Pa 由 式 (10.2.24) 


给 出 。 
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证 明 BEIER Ps 应 满足 两 个 基本 要 求 。 第 -个 要 求 是 对 于 任意 向 量 xe H”, Pae 
都 应 该 位 于 4 的 列 空间 。 这 意味 着 Py 必然 具有 Pa = AG 的 形式 , 其 中 , N x M ER 
G 具有 满 行 秩 , 若 4 具有 满 列 秩 的 话 。 第 二 个 要 求 是 ; 若 将 Par 当 作 期 望 信号 的 估计 
值 , 则 根据 正 交 性 原理 的 引 理 , 下 面 的 正 交 条 件 必须 满足 : 


(Pax, a — Pas) =a" PHT — Pye = 0 


由 丁 它 应 该 对 任意 向 量 e 都 满足 ， 所 以 上 式 可 等 价 表示 为 


Pi. Pip, (10.2.25) 
将 Pa = AG RAER, 则 有 
GĦA" = GE4E4G {10.2.26} 
下 面 证 明 式 (10.2.26) 与 
AÏ ANAG (10.2.27) 


等 价 。 很 显然 , 式 (10.2.27) 一 定 意味 着 式 (10.2.26) HT G 具有 满 行 秩 , 故 OG? 是 非 
奇异 的 , ALTA (GG) SG ARR (10.2.26), 其 结果 为 式 (10.2.27)， 即 式 (10.2.26) 
意味 着 式 (10.2.27). Hak (10.2.27) 立即 得 


G = (A%A) 1AN 
BERRA Py = AG, 便 得 到 Pa = A(A, A) AF, 此 即 式 (10.2.24)。 a 
上 述 证 明 中 ， 部 分 参考 了 文献 [239]. 
容易 验证 ,由 式 (10.2.24) 定义 的 投影 矩阵 P, 具有 以 十 性 质 : 
(1) RTE 


PaPa = Pa (10.2.28) 


(2) 对 称 性 
Pi=P, {10.2.29) 


10.2.5 IESE 
有 了 投影 矩阵 后 ， 又 可 定义 新 的 矩阵 
Py =1- Py =1-A(A,A)1A® (10.2.30) 
由 此 定义 式 易 知 Pt 具有 以 下 性 质 : 
(1) 对 称 性 
[Pt = PE (10.2.31) 


(2) FPE 
PEP} = Px (10.2.32) 
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(3) 与 投影 矩 阵 的 正 交 人 性 


PiP,=0 或 PaPt =O ( 零 矩阵 ) (10.2.33) 


由 于 PX 与 投影 矩阵 Pa 正 交 , 故 Pr 称 作 正 交 投 影 矩 阵 。 
下 面 举 一 个 例子 ， 说 明 投影 矩阵 和 正 交 投影 托 阵 的 构造 方法 ， 并 验证 它们 所 兵 有 的 


性 质 。 
例 10.2.1 给 定向 量 v e0”, 其 投影 矩阵 记 作 Pu， 定义 为 
vo -1H mxn 
Py = PET v(v, v) vw EO (10.2.34) 


利用 以 上 定义 , 容易 验证 投影 第 阵 Py RA RHH 


P= Py 


2 =P,P,=P, 
借助 投影 矩阵 ， 可 将 向 量 e 到 向 量 w 上 的 投影 表示 成 


{v æ) 


P,z=v ol? (10.2.35) 
它 是 一 个 与 v 同方 向 的 向 量 ， 而 且 其 长 度 等 于 xw 在 w 方向 上 的 长 度 。 
此 外 , 车 定义 正 交 投影 矩阵 
PEE I-P,e Cnxn (10.2.36) 
则 容易 验证 , 这 一 正 交 投影 矩阵 P 具有 与 投影 矩阵 的 正 交 性 


(Py, Py) =0 


LEE RHE 
(Pay = PE 


URRE 
(Phy = PPL = PL 
10.2.6 ”投影 矩阵 的 导数 
令 投影 年 阵 
P, (8) = A(O){A™(O)A(O)] A= (0) = A(0) At(0) 


是 某 个 向 量 9 MR. HH, Atco) = [45(9)4(9)]-148(9) ERF 4(B) 的 伪 递 矩阵 。 
为 了 书写 的 简洁 , 将 Pu (9) 简 记 为 P。 
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下 面 介绍 投影 第 阵 P 关于 向 量 8 = [6 ,8 … ,gu]T 的 各 个 元 素 8; 的 一 阶 与 二 阶 导 


数 。 这 些 结果 是 由 Golub 与 Pereyra 最 早 给 出 的 DS 
定义 投影 矩阵 关于 & 的 一 阶 偏 导 数 为 


_ der OP 


Pi 0 


利用 求 导数 的 链 式 法 则 , 得 
P,=A,At+ Aal 


式 中 


def OA 
AS EA 

t gef Oat 
A= 00, 


分 别 是 矩阵 4(8) PARERE A1(9) 关于 8; 的 偏 导数 。 
在 经 过 某 些 代数 运算 后 ,可 得 伪 道 矩阵 At 的 一 阶 偏 导数 为 


Al = (AMA) APPL Atal 
综合 式 (10.2.38) 和 式 (10.2.41) 得 到 


P, = Pt A,Al + (PA, At)" 


由 此 式 容易 验证 , 正如 所 希望 的 那样 ,有 tr(P;) = 0, 因为 一 个 投影 矩阵 的 迹 只 


阵 投影 到 的 子 空间 的 维 数 有 关 。 
投影 矩阵 的 一 阶 偏 导数 为 


也 一 A,A' + Pt A, Al + PHALA + 
(PLA,At + PLA, At+ PLA ABR 
注意 到 PI = -Pj 并 利用 式 (10.2.41)， 可 以 将 式 (10.2.43) ZRA [4671 
Pi = 一 PT 一 (4DHEA pt A,A" + PLA, Alt 
PtA,(AB A) AN Pt — pt a, Ata, Aty 
[-P+A A A,A? — (ANB Alp? A AF+ PHA, Aly 
PHA (ABA)! Al Pt — PA; ATA At] 


(10.2.37) 


(10.2.38) 


(10.2.39) 


(10.2.40) 


(10.2.41) 


(10.2.42) 


与 投影 矩 


(10.2.43) 


{10.2.44) 


投影 矩阵 的 导数 公式 在 涉及 投影 算 阵 的 某 些 估计 子 的 统计 性 能 分 析 时 非常 有 用 。 对 


此 应 用 感 兴趣 的 读者 可 参考 文献 [467]。 
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10.3 ”投影 矩阵 与 正 交 投影 矩阵 的 应 用 举例 


上 一 节 分 别 从 数学 和 信和 号 处 理 角 度 出 发 ， 引出 了 投影 矩阵 的 概念 。 本 节 将 通过 举例 ， 
介绍 投影 矩阵 和 正 交 投影 矩阵 的 凡 个 典型 应 用 。 


10.3.1 投影 梯度 
考查 一 直接 序列 码 分 多 址 (CDMA) AS CA KK 个 用 户 。 在 经 过 一 系列 预 处 理 后 ， 
接收 机 在 第 n 个 码 元 间隔 的 离散 时 间 输 出 可 几 信 号 模型 


K 
y(n) = > Ajbys,(n) + ov(n), m= 0,11, N-1 (10.3.1) 
k=l 


ER. AP, vn) 为 信道 高 斯 白 噪声 ; Arbe 和 s(n) 分别 是 第 个 用 户 的 接收 幅 值 、 信 
息 字符 序列 和 特征 波形 : o 为 一 常数 ， 表 示 高 斯 白 噪 声 的 方差 。 现 在 假定 各 个 用 户 的 信 
息 字符 从 {-1, +1) 中 独立 地 、 等 概率 地 选取 , 还 假定 特征 波形 的 长 度 为 N, 具有 单位 能 
i, 即 


N-1 
SY sen)? = 或 (ay, 8:) = 1 (10.3.2) 
n=0 
RIP, s, = (9, (0), se(1),… ,9k(N 一 DT 表示 用户 大 的 特征 波形 向 量 。 
育 多 用 户 检测 问题 的 提 法 是 : 只 已 知 一 个 码 元 间隔 内 的 接收 信号 y(0),…. yN = 1) 
和 期 望 用 户 的 特征 波形 sa(0), sz(1),… saN 1) 估计 期 望 用 户 发 射 的 信息 字符 bs。 这 
里 ,“ 盲 ”是 指 我 们 不 知道 其 他 用 户 的 任何 信息 。 不 失 一 般 性 , 假定 用 户 1 为 期 望 用 户 。 
定义 


wn) = (yO), 91), + ¥(N — DIF 
v(n) = (v0), o(1),--- ,oN — DT 


分 别 为 接收 信号 向 量 和 噪声 向 量 ， 则 式 (10.3.1) 可 以 用 向 量 形式 写作 


K 
y(n) = Ab, (n)8, + 》 Arbh (n)9, + ov(n) (10.3.3) 


式 中 , 第 一 项 为 期 望 用 户 的 信号 ,第 二 项 为 所 有 其 他 用 户 (统称 干扰 用 户 ) 的 干扰 信号 之 
和 , 第 三 项 代表 信道 噪声 。 

现在 针对 期 望 用 户 1, 设计 其 在 码 元 间隔 n 内 的 多 用 户 检测 器 c1(n), 则 检测 器 输出 
X ef (n)y(n) = (ey, y)> 因此 , 在 第 n 个 码 元 间隔 内 的 期 望 用 户 的 二 进 制 信息 字符 +1 或 
一 1 可 以 使 用 


b(n) = sen({e, y)) = sen(c7 (n)y(n)) (10.3.4) 
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检测 。 
将 盲 多 用 户 检测 器 ci 分 解 为 固定 部 分 si 与 自 适 应 调整 部 分 ml 之 和 1223) 
e(n) = sı +æ, (7) (10.3.5) 
并 且 这 两 部 分 正 交 , EN 
(31, 21(n)) = 0 (10.3.6) 


内 此 , R (10.3.5) 是 -种 典型 的 正 交 分 解 。 
现在 , 在 言 多 用 户 检测 器 ci(n) 的 设计 中 , 采用 一 种 最 小 输出 能 二 准则 , 即使 得 多 用 
户 检测 器 的 平均 输出 能 量 (MOE) 


MOE(e,) = B {(e,,)?} = E {lef tn)y(n))’} (10.3.7) 


最 小 化 。 求 平均 输出 能 量 关 于 ei(n) 的 无 约束 梯度 ,得 

VMOE = 2E{(y, el + 2,)}y (10.3.8) 
TH, 讶 多 用 户 检测 器 c1(n) 的 白 适 应 部 分 wi(i) 的 随机 梯度 白 适应 算法 为 

z (i) = æ (i — 1) — «WMOE (10.3.9) 


RP, VMOE 是 VMOE 的 估计 ， XE RSE Be RE ORRE 


VMOE = 2ly, 8, + ay) (10.3.10) 
称 为 瞬时 梯度 。 此 时 , ES Al EDERE RA 
a) = oi — 1) ~ aly, s, tay (10.3.11) 


由 正 交 约束 式 (10.3.6) 知 , 在 任何 时 刻 i 向量 2, (1) 都 应 该 与 特征 波形 向 其 a1 E 

交 。 因此 , 在 随机 梯度 算法 式 (10.3.11) 中 的 瞬时 梯度 (y, el + w1)y 应 该 与 a1 正 交 。 这 只 
要 将 式 (10.3.11) 改 为 、 

w(i) = æ (i — 1) ~ ply, s+ TW (10.3.12) 


即 可 , 其 中 , y 是 gy 中 与 si 正 交 的 分 量 , 可 用 正 交 投影 矩阵 表示 为 


n = Pay =I- Pa W (10.3.13) 
梯度 2(y, 9; + wi) 称 为 投影 梯度 ,因为 y 与 s1 EX, 是 原 观 测 数据 向 量 y 在 s 
张 成 的 子 空间 上 的 正 交 投影 。 
注意 到 


-1,T g aT 
Pa, = 831(91,81) 1a, = 8181 


sth, 使 用 了 式 (10.3.2) 即 (si,sly》 = 1. TH, 式 (10.3.13) 为 


th =F = 8s =Y- (y,s1)81 (10.3.14) 
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将 式 (10.3.14) 代入 式 (10.3.12)， 即 得 言 多 用 户 检 测 器 的 最 小 均 方 (LMS) 型 白 适应 
算法 如 下 Pal 


(6) = 2, (6 — 1) — nly, 81 + my — (Y, 81)81) (10.3.15) 
æ, (i) = æ, (i — 1) — aZ (i) y(i) ~ Zurli)s1] (10.3.16) 
RP 
Zurli) = (y(i), 81) 
Zi) = (y(i), s, +2, (i -1)) 
10.3.2 HX 


DEMAT TESS BUY 58 ES on I & A PRE) LMS 型 白 适应 算法 中 的 应 
用 。 现 在 考查 一 般 的 LMS 自 适 应 算法 。 

假定 u(r) 是 滤波 器 w 的 输入 向 其, IPH dn) 是 滤波 器 在 n 时 刻 希望 得 到 的 输出 
响应 (简称 期 望 输出 )。 现在 , 设计 滤波 咒 的 -~ 种 自 适应 学 习 算 法 ,使 得 滤波 器 在 n 时 刻 
的 实际 输出 wun) 与 该 时 刻 的 期 望 输 出 (re) 之 问 的 均 方 误差 为 最 小 。 这 种 滤波 器 称 为 
LMS 滤波 器 , 其 自 适 应 学 习 算法 的 一 般 形式 为 


wn) = wn ~ 1) + pfnju(n)e" (n) (10.3.17) 


At, a(n) 起 LMS 算法 在 n 时 刻 的 学 习 速率 或 白 适 应 步 长 ; e(n) 是 滤波 器 在 n 时 刻 的 
误差 信和 号, 定义 为 
e(n) = d(n) 一 w!(n —1)u(n) {10.3.18) 


这 种 LMS 算法 是 Widrow 与 Hof 于 1960 年 提出 的 [ez9。 现 已 被 认为 是 最 早 的 神经 网 络 
方法 P, 

在 LMS 算法 中 , 有 一 个 独立 性 假设 : 假定 横向 滤波 器 的 输入 向 量 (1), (2), ,wu(n) 
是 被 此 统计 独立 的 向 量 序列 。 当 它们 之 间 不 满足 统计 独立 的 条 件 时 , 基本 LMS 算法 的 性 
能 将 下 降 , 尤其 是 收敛 速度 会 比较 慢 , 因此, 任 这 种 情况 F, 就 需要 解除 各 时 刻 输 入 向 基 
之 间 的 相关 (这 一 操作 称 为 “ 解 相关 ”)， 使 它们 尽 下 能 保持 统计 独立 。 大 量 的 研究 表明 
(文献 175] 及 其 中 有 关 参 考 文献 )， 解 相关 能 够 有 交加 快 LMS 算法 的 收敛 速率 。 

令 u(n) 5 uin- 1) E n 时 刻 的 相关 系数 为 


a(n) £ aes = (u(n ~ 1), ufa — 1) u(n — ta(n) (10.3.19) 


BA, a(nju(n - 1) 代表 了 u(r) 中 与 u(n - 1) 相关 的 部 分 。 若 从 un) 中 减 去 该 部 
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分 ， 则 这 “减法 运算 相当 丁 “ 解 相关 ”。 解 相关 的 结果 为 


vàn) = u(n) -alnju(n ~ 1) {10.3.20) 
= u(n) -un (uno Du — 1) Tae (n — 1u(n) (10.3.21) 
= u(n) ~ Pa -ryu(n) (10.3.22) 


= Pten_Dae(m (10.3.23) 


这 说 明 ， 从 w(n) 中 解除 与 ulin- 1) 相关 的 部 分 ， 等 价 于 求 n 时 刻 的 输入 向 量 u(r) 在 
(2-1) 时刻 的 输入 向 量 w{n -~ 1) 张 成 的 子 空间 上 的 正 交 投影 。 于 是 , 在 LMS AER 
习 算 法 中 使 用 解 相 关 的 输入 向 基 vtn) 代替 原 米 的 输入 向 量 wu(n), 便 得 到 所 谓 的 时 域 解 
相关 LMS 算法 0271。 有 关 解 相关 的 LMS 算法 , A 5.5 节 讨论 过 。 

下 面 以 前 条 和 后 向 预测 滤波 器 为 例 , 说明 如 何 用 投影 矩阵 表示 泪 波 啥 。 
10.3.3 ”前 向 预测 滤波 器 的 表示 

假定 滤波 器 的 输入 和 抽 头 权 系 数 均 为 实数 。 为 方便 叙述 ， 先 引入 时 移 向 量 

zJa(n) = [0,---.0,2(1),-++,2(n — jT (10.3.24) 

注意 , 这 里 2) 只 是 代表 一 个 时 间 上 移 位 的 算 子 , MEERES HRA. 此 外 , 约定 
离散 时 间 变量 的 起 点 为 1, H a(n) =0 对 所 有 n < 0. 

考虑 m 阶 前 向 顶 测 滤 波 器 


= Yuta =i) k=1,2, e,n (10.3.25} 


AH, wi(n),i=1,2,---,m 表示 n 时 刻 的 滤波 器 权 系 数 向 量 。 将 上 式 写 成 矩阵 方程 ， 则 
有 
0 a 0 wi (n) (1) 


0 
a) 0 oo o wila) = #0) (10.3.26) 


a(n 一 1) zn— Qc a(n 一 m) uin) a(n) 
定义 数据 矩阵 


Xi ntn) E def 


e7 Fa 2 eln) 
0 0 
20) 0 tee 0 
z(n-1) 2(n-2) «+ 2(n—m) 
并 分 别 定义 m 级 前 向 预测 系数 向 量 whin) 和 前 向 预测 值 向 其 3S(n) 为 
whin) E uin wm), wT (10.3.27) 
MACON ONERE Oh (10.3.28) 
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则 式 (10.3.26) 可 以 用 简洁 的 形式 写作 
Xi minwi (n) = &(n) (10.3.29) 
为 了 求 出 前 向 预测 形式 向 量 的 最 小 二 乘 估计 , 用 em) 代替 上 式 中 的 èm), 便 得 到 
whl) = (X Tmn), Km) XT mln)E(n) (10.3.30) 
将 式 (10.3.30) 代入 式 (10.3.29)， 并 使 用 投影 矩阵 符号 ， 即 可 将 前 向 预测 值 向 量 表 
示 为 
&(n) = P, ,(n)a(n) (10.3.31) 
RP, Pim) = X 1 mhn X Tmn) Xt m(M)) X Emin) 表示 数据 矩阵 XX, mln) 的 投影 


ERE. 
若 定义 前 向 预测 误差 向 量 


ein) = [en (1) em (2),. ,eh (aT 


= 2(n)—#(n) (10.3.32) 


式 中 , ef, (k), k= 1,2,… n ARRE k 时刻 的 前 向 预测 误差 , 则 由 式 (10.3.31) REX 
投影 矩阵 的 定义 立即 知 
ef(n) = Pi, (nx(n) (10.3.33) 
xX (10.3.31) 和 式 (10.3.33) 的 物理 解释 是 : WARMERS a(n) 和 前 向 预测 误差 向 
E ef (n) 分 别 是 数据 向 量 a(n) 在 数据 矩阵 X, min) 所 张 成 的 子 空间 上 的 投影 和 正 交 
投影 。 


10.3.4 ”后 向 预测 滤波 器 的 表示 
考虑 后 向 预测 滤波 器 


a(k — m) 二 人 wm)z(h 一 mm 二， KE=1,2, ,Nn (10.3.34) 
i=t 


AP, wP(n),¢ = 1,2,…,m 为 m 阶 后 向 预测 滤波 器 在 ”时刻 的 权 系数 。 使 用 矩阵 和 向 
量 书 写 上 式 , 得 


(1) 0 ee 0 0 
: : b(n) : 
(m—1) 0 wmm | 0 
a 7 am) Le z(1) : =| 20) (10.3.35) 
: : : wh(n) : 
a(n) anm—1) =- r(n-m+l1) &(n — m). 


Xom_i(n)w,(n) = 2" a(n) {10.3.36) 
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式 中 
Kom1(n) = [2 pn), e(n) ,2 "tp(n)] 

zl1) 0 e 0 

2(2) zQ) 0 
=|. : . (10.3.37) 

a(n) a(n~1) +. a(n—m+) 

wh (72) = Fob (0), wml) wT (10.3.38) 
&(n — m=z min) = [0,--- ,0,2(1),--- ,Zn ~ my? (10.3.39) 


ÆR (10.3.36) 中 用 已 知 的 数据 向 量 a(n) 代替 未 知 的 预测 值 向 量 人 %(n), 即 可 得 到 后 
向 预测 滤波 器 权 向 量 的 最 小 二 乘 解 为 


Waln) = (Kom): Xom—1(2)) Xm (nEn — m) (10.3.40) 
将 式 (10.3.40) 代入 式 (10.3-36) 后 向 预测 ( 值 ) 向 基 可 用 投影 第 阵 表 示 为 
&(n —m) = Pom_i(n)a(n~m) 
= Pomi (n) e(n) (10.3.41) 
式 中 ， Pom) = Xom—1(%){X 0,m-1 (0), Xom- 0) XG m1 (2) 是 Xom s(n) 的 投 
EIER. 
定义 后 向 预测 误差 向 量 
ef, (12) = [em (1), em (2),. s em (A)T 
=a(n—m) —&(n-—m) (10.3.42) 
式 中 , eb (k) (上 二 1,2,… ,n) 是 大 时 刻 的 后 向 预测 误差 , 则 将 式 (10.3.41) 代入 式 (10.3-42) 
后 , 又 可 用 正 交 投 影 矩 阵 来 表示 后 向 预测 误差 向 量 , 即 有 
b(n) = Poim_i(njz a(n) (10.3.43) 
式 (10.3.41) 和 式 (10.3.42) 的 物理 涵义 如 下 : 后 向 预测 向 量 (n-m) 和 后 向 预测 误 


差 向 量 eb,(n) 分 别 是 移 位 的 数据 向 量 reln) 在 数据 矩阵 Xom- l) 所 张 成 子 空间 上 


的 投影 和 正 交 投 影 。 
例 10.3.1 假定 观测 数据 矩阵 为 龙 wxwr， 现 人 在 希望 设计 一 M x 1 阶 滤波 器 向 芭 w 


拟 合 向 量 y, 则 观测 方程 可 以 写作 


y= Xwte {10.3.44) 
RP, e 为 拟 合 误差 向 量 。 设 最 优 滤波 器 为 wwopt， 其 估计 误差 向 量 为 eop W 


Y = X Wop + opt (10.3.45) 
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两 了 边 同 乘 (XP), WH 


Wopt = (XFX X My — (XTX) X" eop (10.3.46) 
根据 前 面 的 分 析 , 滤波 器 的 最 小 一 乘 估计 为 
ws = (XĦ X) X”y (10.3.47) 


将 式 (10.3.46) 代入 上 式 , M 
wrs = Wop, + (XX) X "eop (10.3.48) 


rÆ, 有 
y- Xws =y- X wt 一 X(XAK) X" ept 


BER, Ñ (10.3.46) 和 式 (10.3.47), 立即 得 


(I ~ P)y = (I - Pleo (10.3.49) 
最 小 二 乘 估计 
9 = Xwyg = X(X7X) 1X y = Py (10.3.50) 
RP, P= X(X7X)— XT 表示 观测 数据 定 阵 X 的 投影 矩阵 。 于 是 ， 估 计 误 差 向 量 
essy $=(T Py=( . Peo (10.3.51) 
式 中 , 使 用 了 式 (10.3.49)。 
估计 误差 平方 和 
Es = elsers = esp (I — P)" (I ~ P)eop = ete — P)eop (10.3.52) 


估计 误差 平方 和 的 数学 期 望 值 称 为 均 方 误 差 ， 即 有 
E{E,s} = Ef{etp(I — P)ecpt} = E {trl ~ Pleop espe! } 
= tr [1 ~ PE{eoptesst}] 


式 中 , 利用 了 矩阵 的 迹 的 性 质 zE4z = tr(Awa"). $ oZy = Bled eon} 表 尔 最 优 滤波 
器 的 均 方 误差 。 丁 是 ， 上 式 可 以 写 为 
E{ELs} = agottr(T — P) (10.3.53) 


计算 矩阵 的 迹 , 得 
tr(I— P) = [I — X(X™X) X" 
=tr(Iy)- te[X(K8X) 1XH] 
= tr(Iy) — tri(XFX)- 1XHX] 
= tr(Iy) — try) 
=N-M 
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将 此 值 代入 式 (10.3.53), 则 

E{ELs} = (N ~ Mone {10.3.54} 
这 说 明 , 最 小 二 乘 滤 波 器 的 均 方 误 养 Eeler) 是 最 优 滤波 器 的 均 方 误差 oz。 的 (N- 
M) ti. 


10.4 投影 矩阵 和 正 交 投影 矩阵 的 更 新 


白 适 应 泪 波 器 在 很 多 工程 问题 中 有 着 广泛 的 应 用 。 所 谓 白 适应 涉 波 器 ,就 是 滤波 器 
系数 可 以 随时 间作 自 适应 的 调节 ， 以 使 得 滤波 器 的 输出 能 够 满足 某 些 实际 需要 。 滤 波 颖 
系数 的 白 适 应 调节 依靠 的 是 简单 的 时 间 更 新 公式 ,因为 复杂 的 计算 不 能 够 满足 信号 处 理 
的 实时 要 求 。 因此 , 为 了 将 投影 低 阵 和 正 交 投 影 矩 阵 应 用 于 自 适应 滤波 器 的 设计 中 , 需要 
推导 出 这 两 种 矩阵 的 时 间 更 新 公式 。 - 

假定 日 前 的 数据 空间 为 {r}， 相 对 应 的 投影 短 阵 是 Pu ， 正 交 投 影 矩 阵 为 Py。 这 
E, U 取 X, m(n) 或 Xom i(n) 等 形式 . 现在 假设 有 一 个 新 的 数据 向 重 w 加 入 到 {U} 
的 原 向 量 组 中 。 一 般 说 米 , 新 数据 向 量 u 将 提供 某 些 新 的 信息 , 它们 是 在 {U} 的 原 向 量 
组 中 没有 包含 的 。 由 于 数据 子 空间 从 {U} 扩大 为 Tria}, 所 以 应 该 寻找 与 新 子 空间 对 应 
的 “新 的 ”投影 拭 阵 Pv。 MEREVEN PL, 

从 自 适 应 更 新 的 角度 则 发， 由 已 知 的 投影 惩 阵 Py 求 更 新 的 投影 拒 阵 Pu, 的 最 简 
单方 法 是 将 Po 。 分 解 为 两 部 分 : 一 部 分 是 非 自 适应 部 分 或 已 知 部 分 , 另 一 部 分 为 自 适 应 
更 新 部 分 。 存在 一 种 特别 有 用 的 分 解 方式 , 即 要 求 不 白 适应 部 分 与 白 适应 部 分 彼此 正 交 。 
这 样 一 种 分 解 称 为 “ 正 交 分 解 ”。 具体 说 来 , 投影 年 隆 Py 的 正 交 分 解 为 


Py, = Py + Py (10.4.1) 


RP, Po AMGEN IEEE 
(Py, P,) =0 (10.4.2) 
或 简 记 作 Py L Py. 
由 于 更 新 是 通过 原 投影 矩阵 Py 和 新 数据 向 基 v 实现 的 , 而 Pr 中 不 包含 新 数据 


向 量 的 任何 必用， 所 以 正 交 分 解 中 的 更 新 部 分 已 。 应 该 包含 有 新 数据 向 量 uw。 不 妨 令 
w= Xu, 即 P, = Xu(Xu, Xu (Xu). BP, RAL (10.4.2), 则 有 


(Py, Po) = Py Xul(Xu, Xu) (Xu) =0 
这 里 使 用 了 投影 矩阵 的 对 称 忻 PE = Pu。 HT w= Xu #0, 故 上 式 意 味 着 Py Xu = 0。 
为 使 这 一 条 件 对 任意 向 量 u ERL, BR PyX = 0。 这 意味 着 X 应 该 是 正 交 投影 卸 
阵 Py 
综合 以 上 讨论 , 得 到 正 交 分 解 式 (10.4.0) 中 的 向 量 w 为 
w= Phu (10.4.3) 
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MEW, w 大 数据 向 量 u 在 数据 矩阵 U KERRY. 
利用 投影 矩阵 的 定义 式 , 易 求 出 


P, = wlw, w) wT 


= PuPu, Pu) uT PE (10.4.4) 


式 中 , 使 用 了 正 交 投影 矩阵 的 对 称 性 [PE]? = Pho 
将 式 (10.4.4) 代入 正 交 分 解 (10.4.1), 便 得 到 “新 的 ”投影 算 阵 的 更 新 公式 如 下: 


Pyu = Py + Piu(Piu, Phu) ul Ph (10.4.5) 
再 使 用 正 交 投影 矩阵 的 定义 式 ， 又 可 得 到 “新 的 ” 正 交 投影 矩阵 的 更 新 公式 : 
Pi, = Pi- Piu(Piu, Pyu) uT PE (10.4.6) 


式 (10.4.5) 和 式 (10.4.6) 分 别 组 成 了 投影 矩阵 和 正 交 投影 矩阵 的 更 新 ， 它 古 向 量 更 
新 和 标量 更 新 的 基础 。 在 前 面 已 看 到 ,向 量 a(n) 的 前 向 线性 预测 a(n) 可 以 写成 名 (n) = 
了 Pim(n)w, 而 其 预测 误差 向 最 eln) = Pi,,(n)z(n)。 为 了 推导 一 般 向 其 Pyy 和 Piy 的 
BRAK, 我 们 用 y DARE (10.4.5) MA (10.4.6), 得 到 


Pyy = Pyy + Piu(Ptu, Phu) (u, Piy) (10.4.7) 
Piuy = Poy 一 Pgu(Pýu, Piu) (u, Poy) (10.4.8) 


在 最 小 二 乘 滤波 中 , 还 常常 需要 对 某 个 标量 (例如 n 时 刻 的 预测 误差 和 残 差 ) 进行 
分 析 ， 由 于 两 个 向 其 的 内 积 为 一 标量 , 所 以 若 用 向 量 z 左 乘 式 (10.4.7) 和 式 (10.4.8)， 即 
可 得 到 更 新 公式 


(2, Py) = (z, Pyy) + (z, Pou) (Phu, Pou) (u, Poy) {10.4.9) 
(z, Phu) = (z, Poy) — (z, Pou) (Pou, Pu)! (u, Phy) (10.4.10) 
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上 一 节 推 导 了 投影 矩阵 与 正 交 投影 矩阵 的 递 推 公式 。 现 在 ， 以 委 适 应 格 型 滤波 器 为 
例 ， 说 明 这 些 递 推 公式 的 应 用 。 我 们 将 看 到 , ER (10.4.7)、 式 (10.4.8)、 式 (10.4.9) 和 式 
(10.4.10) 中 巧妙 地 选择 U, u, z 和 yy, 就 可 以 直接 导出 非 对 称 结构 的 格 型 滤波 器 的 全 部 时 
间 更 新 和 阶 数 更 新 公式 。 

图 10.5.1 画 出 了 LS 格 型 白 适应 滤波 器 的 结构 图 。 这 种 滤波 器 的 前 向 反射 系数 KS, 
和 后 向 反射 系数 KE 不同， 是 一 种 非 对 称 的 结构 。 


10.5 ERAREKIN 683 


ebin) p 四 Bln) Sal) ) 
a(n) Kf ~ KL 
KP KR Kg 
ne ae -| = 下 Poran of zl n 
bine Eln) “Bla hs) eb(n) 
E 10.5.1 LS 自 适 应 格 型 滤波 器 的 结构 
由 图 10.5.1 可 以 写 出 前 、 后 向 预测 误差 的 方程 , 即 有 

ent (1) = enn) — Kaa (neh, (nm — 1) (10.5.1) 
eari (0) = -Kh lem (2) + enla — 1) (10.5.2) 


上 述 方程 表明 了 以 下 事实: 
(1) 第 m +1 级 滤波 器 在 n 时 刻 的 前 (或 后 ) 向 预测 误差 不 仅 与 前 一 级 n 时 刻 的 
前 向 预测 误差 ein) 有关， 而 且 还 决定 丁 前 一 级 n 一 1 时 刻 的 后 向 预测 误差 
ebi(n—1)o RANA, 这 种 格 型 滤波 器 存在 着 前 、 后 级 之 间 的 耦合 。 
2) 格 型 滤波 器 设计 的 核心 问题 就 是 推导 前 、 后 向 反射 系数 的 递 推 公式 ， 即 如 何 使 
用 前 级 滤波 器 的 有 关 参 数 递 推出 本 级 的 前 、 后 向 反射 系数 。 
(3) 格 型 滤波 器 既 含 有 阶 数 递 推 (本 级 参数 与 前 级 参数 有 关 ), 又 包含 了 时 间 递 推 (本 
时 刻 的 滤波 器 参数 与 前 一 时 刻 的 参数 有 关 )。 
SEATS. 前 、 后 级 滤波 器 的 耦 人 台大 大 增加 了 格 型 滤波 器 的 设计 难度 , 因为 它们 不 能 
够 各 级 独立 设计 。 幸 运 的 是 ,投影 矩阵 和 正 交 投影 矩阵 可 以 完全 克服 这 一 设计 地 难 。 
格 型 滤波 器 设计 采用 使 滤波 器 在 每 个 时 刻 的 前 、 后 向 预测 误差 平方 和 为 最 小 的 准 
则 。 9.3 节 推 导 了 前 向 预测 误差 向 量 ef (n) 的 表达 式 (10.3.33) 和 后 向 观测 误差 向 量 eb, (n) 
的 表达 式 (10.3.43)。 MRA n 时 刻 的 预测 误差 (标量 ) 感 兴趣 , 就 需要 从 ef, (n) 和 eb (n) 
中 分 别 抽取 出 第 n 个 分 量 。 为 此 ， 引 入 n 个 分 量 的 单位 向 量 (也 叫 抽取 向 量 ) 


a(n) = [0,--- ,0, 17 
则 现时 蔚 的 前 、 后 向 预测 误差 很 容易 用 两 个 向 量 的 内 积 来 表示 : 


el,(n) = (n(n), ef, (n)) = (a(n), Pin(n)e(n)) (10.5.3) 
e? (n) = (a(n), e2,(n)) = (rln), Pkey_1(n)2~™2(n)) (10.5.4) 


前 、 后 向 预测 残 差 分 别 定 义 为 时 刻 1 到 时 刻 n 的 前 、 后 向 预测 误差 的 平方 和 , BY 


a(n) = (ef, (n), ef, (n)) (10.5.5) 
€,(n) = (em (n), em (n)) (10.5.6) 
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利用 z-! 算 子 的 移 位 性 能 , 还 可 得 到 n 一 1 时刻 的 前 、 后 向 预测 残 差 的 表达 式 ，: 


en—1)= (zei (n) 2778, (n)) (10.5.7) 

& (n—- VY =(z 'eb (n), zeb, (n)) (10.5.8) 
在 推导 格 型 滤波 器 的 更 新 公式 之 前 , 先 证 明 一 个 有 用 的 公式 : 

2 Ph, (Re = Pry (ne (10.5.9) 


证 明 利用 z-! 的 移 位 性 质 ， 易 知 对 任意 - 向 其 y(n), 有 


2 Pim M2" Yn) = Pam-i(n - 1) "y(n — 1) 


= Pi iDTz y(n) {10.5.10} 
注意 到 
Kom ala — 1) = 27 gn), 2 on), ,2 tg) 
= fe ten), z e(n), (DT 
= X1 n(n) 
故 


Pim iD =I- Xom- Xom- YX ona (@ = D) XG mal D 
51- X, maX mln) Xr mM) XT ml) 
= Pim (n) 
丁 起， 式 (10.5.10) 可 以 写作 
Pd 一 Pil) ™ yl) 
上 式 对 任意 疝 基 y(n) 均 成 立 , 这 意味 着 式 (10.5.9) 为 真 。 
下 面 考虑 由 式 (10.5.3) 定义 的 前 向 预测 误差 ef, (rm) = (m(n), Pimpi nein) 的 递 
推 公式 。 
利用 式 (10.5.9) 和 式 (10.3.43), 有 
Pial) eln) = 2 Pb, (ne aln) = 27e (n) 一 人 -1 (10.5.11) 
在 式 (10.4.10) 中 , $ z = a(n), U = Xi mln) u = 2 ten), y = a(n), WAR 
(U, u} = {Xi mln) 27" Fa(n)} = {Xa ngs ln) (10.5.12) 


从 而 有 
Pi = Ptm(n) 


Pòu = Pim (n) 
Pu = Pinin) ™ e(n) = ep, (n 1) (10.5.13) 
Pty = Pi mlnjeln) 


Piny = Pimp (na(n) 
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在 得 到 上 面 第 一 个 等 式 的 过 程 中 使 用 了 式 (10.5.11) 的 结果 。 
将 式 (10.5.13) 代入 式 (10.4.10), 并 利用 正 交 投影 算 阵 的 客 等 性 和 式 (10.5.11), 则 有 


ef (n) = (a(n), Ping m)a(n)) 
(a(n), eb, (n> (Pim (neln) 2°" el) 


= (x(n), Ph (nen) — CAE CEE 
n _ L -m-i 
= Pintet) ~ HDC Phin leo). Fine TR) 
(n(n). ef (a — DM Pininia(n), em(n — 1) 
= (a(n), Pitaato)) — an eee 
ze? (n) ef 
=e, (n) — Fen), ele)? sal Leal &(n-1) (10.5.14) 
Aral) = (em (n) Eml — 1) = (em tr ~ 1), e (2) (10.5.15) 


然后 将 式 (10.5.14) 与 式 (10.5.1) 加 以 比较 , 即 知 第 m+ 1 级 格 型 滤波 器 在 n 时 刻 的 后 向 
反射 系数 Ke) 为 


O Am 
Koila) = geal n (10.5.16) 


为 了 推导 前 向 反射 系数 KL (n) 的 更 新 公式 , 在 式 (10.4.10) PSU = X; minhu = 
a(n), y = 2m az(n)。 利用 子 空间 {U, u} 和 {w,U} 等 价 这 一 -直观 的 事实 , 得 到 


{KLmn), en = {e(n), Xi m(r)} = {Xo,m(n)} (10.5.17) 


于 是 ,采用 与 前 面 类似 的 推导 ,又 可 得 到 后 向 预测 误差 的 阶 数 更 新 公式 (10.5.2) 中 的 前 
向 反射 系数 的 表达 式 : 
A 
Kinto) = Sen) . (10.5.18) 
综合 以 上 讨论 , 有 以 下 结论 : 
{1) 格 型 白 适应 滤波 算法 由 式 (10.5.1) 和 式 (10.5.2) 组 成 , 其 关键 是 前 、 后 向 反射 系 
数 Kiln) AK (nm) 的 递 推 计算 。 
(2) 前 向 反射 系数 KE. (n) 决定 于 偏 相关 系数 A, a(n) 和 前 向 预测 残 差 i,(n), 而 
后 向 反射 系数 Kb p(n) 次 定 于 偏 相关 系数 Amy ln) 和 后 向 预测 残 差 e,m- 1). 
这 表明 , 自 适 应 更 新 滤波 器 的 设计 现在 转化 为 偏 相关 系数 Amp ln) BRRR hln) 
后 向 预测 残 差 eb,(n)、 前 向 反射 系数 KE (n) 和 后 向 反射 系数 Khan) 的 更 新 公式 的 
推导 。 
下 面 推导 前 、 后 向 预 浏 残 差 的 更 新 公式 。 为 此 , 将 eg(p) = Pitw(njz(n) RAMA 
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测 残 差 的 定义 式 (10.5.5), 可 得 
ef, (2) = (PL (n)@(n), Pimia) 
= 27 (Pon (2)|” Prim (n)e(n) 
= aT (n) Pi (njen) 
= (a(n), Pin (n)e(n)) (10.5.19) 


这 里 使 用 了 正 交 投影 算 阵 的 对 称 性 和 知 等 性 [Pi N] Pinn) = Pin(n) x Pim(n) = 
Pinin) Kik, 由 后 向 预测 残 莽 的 定义 式 (10.5.6), 又 可 推出 


e(n) = (4 "en), Pam- (e(n — m)) (10.5.20) 


HER (10.4.10) 中 令 z =y = a(n), U = Xi m(n) u = 271X (n), ASP 


测 残 差 的 更 新 公式 
Am+1(n) ( 
10.5.21) 


式 中 ， Ahn) = Amy (nimy (nN). 
在 式 (10.4.10) HHS z = y = x a(n), U = X; mln), u = x(n) 又 可 得 到 后 向 
预测 残 差 的 更 新 公式 为 sla) 
Ha 
(10.5.22) 
考虑 子 空间 {U, mr(n)} 的 投影 矩阵 Py, (n) 与 子 空间 {U} 的 投影 矩阵 Prr(n) 之 间 
的 关系 , 则 有 D9 


Emp (72) = eml = 1) — 


Py (0) = P va- 1) | (10.5.23) 


Pi.,(n) = [P Bie) o] (10.5.24) 


在 式 (10.4.10) 中 令 2 = w(n),y = 2™-taæ(n), U = X, m(n), u = m(n), 则 可 证 明 仿 
相关 系数 满足 下 列 更 新 关系 ; 


£ b(n 
Aryan) = Amn- 1) + atl) (10.5.25) 

AH, min- 1) 为 角度 参数 ,定义 为 
Ialn = 1) E (nl), Pipinin) (10.5.26) 


在 式 (10.4.10) PS z = y = n(n), U = Xi mln) M u = zr a(n), 则 最 后 可 得 到 
角度 参数 的 更 新 公式 : 


[es.(n — DI? 


mnl- D= 全 人 (10.5.27) 


综合 以 上 各 种 更 新 公式 , 就 得 到 了 格 型 白 适应 滤波 算法 。 
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算法 10.5.1 ( 格 型 自 适 应 滤波 算法 ) 
初始 化 
ef, (0) = ef, (0) = 4,,(0) = 0 
Ym (0) = 1 
E (0) = (0) = 6 
I n=1,2, s 计算 
egln) = ej (n) = x(n) 
Bin) = din) = h(n — 1) +2? (n) 
Yo(n) = 1 
对 m=0,1,…,M 一 1 计算 


t bm 
ao = Amarin 1) + Soe — 2) 


enti(n) = ef, (n) — muler Denn =) 


— 2 
mmni) =al pE 
其 中 ,参数 5 RBM NRE ETE. 
我 们 看 到 ， 利用 投 六 短 阵 和 上 交 投影 兴 阵 的 更 新 公式 ,人 大 方便 了 格 型 和 适应 兹 波 
器 的 设计 。 如 果 没有 投影 生 阵 和 正 交 投影 矩阵 这 样 有 力 的 数学 工具 ， 要 解决 格 型 适应 
波 流 器 设计 这 一 复杂 问题 序 使 不 直 不 可 能 的 ,至少 也 是 非 党 繁杂 的 


10.6 ” 满 列 秩 矩阵 的 斜 投影 算 子 


前 面 几 节 详 细 讨论 了 正 交 投影 算 子 的 理论 与 应 用 。 概括 起 来 , 向 量 z 到 子 空间 五 的 
正 交 投影 可 以 分 解 为 该 向 量 分 别 到 子 空间 Ay WW, 的 正 交 投影 之 和 。 其 中 , 子 空间 H, 
要 求 是 H, 的 正 交 补 ， 并 且 正 交 投 影 算 子 本 身 必 须 同 时 是 等 等 的 和 复 共 往 对 称 的 。 本 节 
讨论 子 空间 于 不 是 A, 的 正 交 补 的 情况 下 的 投影 ， 从 中 引出 一 种 不 具有 复 共 辆 对 称 性 
的 塞 等 算 子 。 这 类 算 子 统称 为 斜 投影 算 子 (oblique projector). 

斜 投影 算 子 最 早 是 在 20 世纪 30 年 代 由 Murray 86) 和 Lorch [235 提出 并 讨论 的 。 
后 来 ，Afriat 00l, Lyantse [291，Rao 与 Mitra 883], Halmos 2%, Kato 247) 以 及 Takeuchi 
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等 人 tol 从 数学 角度 作 了 进一步 的 论述 与 介绍 。1989 年 ，Kayalar 与 Weinert 250 提出 
华 阵 列 信号 处 理 中 使 用 斜 投影 算 子 ,并且 推 避 出 了 计算 斜 投影 算 子 的 一 些 新 的 公式 和 选 
代 算 法 。1994 年 ， Behrent 与 Scharf B4 Ft AAMAS ABE Ff. 推导 了 更 加 
实际 的 计算 公式 。2000 年 ，Vandaele 和 Moonen 65) 利用 矩阵 的 LQ 分 解 ， 给 出 了 到 和 矩 
柬 的 行 空间 的 斜 投影 公式 。 

由 于 斜 投影 算 子 的 广泛 应 用 ,本 节 和 10.7 节 将 分 别 就 满 列 秩 和 油 行 秩 矩 阵 ， 系 统 地 
讨论 斜 投影 算 子 的 有 关 理 论 和 方法 。 全 十 斜 投影 算 子 的 典型 应 用 举例 , 则 留待 在 10.8 节 
介绍 。 


10.6.1 斜 投影 算 子 的 定义 


$ V Æ— Hilbert 空间 , HEV 中 由 观测 数据 张 成 的 一 个 闭合 了 空间。 假定 数据 分 
成 两 个 子 集 , 这 两 个 子 集 张 成 两 个 闭合 的 子 空间 和 Hy. TPH H =H +H, 其 
HH, 和 Hy 的 交集 H Hy = {0}, 即 子 空间 A, Al Hy CHA (nonoverlapping) 
或 无 交 连 的 (disjoint). HER, 两 个 子 空间 无 交 连 只 荐 表明 它们 之 间 没 有 共同 的 元 素 ， 并 
不 意味 这 两 个 子 空间 正 交 。 正 交 古 比 无 交 连 更 强 的 条 件 ; 车 两 个 子 空间 正 交 ， 则 它们 一 
定 是 无 交 连 的 。 

令 P, Pi P 分 别 是 到 子 空间 H, H, H, 上 的 正 交 投影 算 子 。 对 向 量 ze 了, 现在 希 
望 计算 它 在 子 空间 H 上 的 正 交 投影 Pz. Aronszajn P 提出 , 可 以 先 分 别 求 出 向 其 = 到 
子 空间 H, 和 A, 的 正 交 投影 Piz 和 Piz, 然后 再 按照 综合 公式 


Pz=(I- P (1 - P P) Piz+(T- Py) ~ PP) Paz (10.6.1) 


得 到 Pz. 
上 述 Aronszajn 综合 公式 可 以 直接 解 次 某 些 统计 内 播 问题 四 "853399]， 半 县 正如 文 
ER [250] 所 指出 的 那样 ,所 有 双 滤 波 器 平滑 公式 都 是 Aronszajn 综合 公式 的 特例 。 
应 当 指 出 , 当 子 空间 H, 是 H, 的 正 交 补 时 , 正 交 投 影 算 子 P = Pi R P, = Py. 
此 时 ，Aronszajn 综合 公式 (10.6.1) 简化 为 


Pz = Piz + P}z = Poz + Piz (10.6.2) 


即 为 典型 的 正 交 分 和解。 因此 ，Aronszajn 综合 公式 是 正 交 分 解 的 推广 。 

Aronsajn 综合 方法 利用 师 个 非 正 交 的 子 空间 的 正 交 投影 算 子 Pl 和 P, 计算 正 交 投 
影 Pz。 这 一 方法 存在 以 下 两 个 缺点 : 

(1) 需要 比较 大 的 计算 基 。 

(2) 不 容易 推 1 到 子 空间 A 分 解 为 三 个 或 者 多 个 子 空间 的 情况 。 

Aronszajn 综合 方法 的 这 两 个 固有 缺点 可 以 通过 计算 非 正 交 投影 加 以 游 免 。 这 种 非 
正 交 的 投影 就 是 上 面 将 介绍 的 斜 投影 。 

EER Pz 的 计算 变 得 尽 可 能 简单 , 最 简便 的 方法 莫 过 于 使 Pz 是 问 其 zx 到 
子 空间 Hy 和 Hy 的 两 个 投影 的 直 和 ， 即 


Pz = Ez + Ez (10.6.3) 
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虽然 仍然 十 综合 正 交 投 影 Pz, 但 是 与 Aronszajn 综合 公式 (10.6.1) 不 同 , 式 (10.6.3) 
中 的 投影 Ez 及 Ez 只 是 分 别 位 于 子 空间 H, 和 瑟 ;， 而 不 再 是 向 其 z 分 着 介子 空间 
H, 和 Hy 的 正 交 投影 。 此 时 , 称 

H = H, 0H? (10.6.4) 

是 于 空间 H 的 直 和 分 解 (direct sum decomposition). 注意 ， 算 子 E, 和 E, 不 再 是 正 交 
投影 算 季 。 为 了 便于 区 别 ， 下 面 将 统一 使 用 符号 PA E DAR EZBERE 
交 投 影 算 子 。 非 正 交 投影 算 子 统称 斜 投影 算 fo 

应 当 注 意 , 无 论 是 正 交 投 影 算 子 , 还 是 斜 投影 算 了 , 都 必须 满足 任何 一 个 投影 算 子 所 
必须 具有 的 考 等 性 ,容易 验证 , Aronszajn 综合 公式 (10.6.1) 中 的 (I-P, I-P, P,) P, 
和 (I 一 Pi)(I - PaP) Pa 都 不 是 斜 投影 算 子 ， 央 为 它们 都 不 是 寡 等 筑 子 。 

那么 , 如 何 构造 式 (10.6.3) PAIR BE 了 上 E, 和 EB, 呢 ?上 下面 以 满 列 秩 和 矩阵 作 
为 讨论 对 象 。 

nx m IEE 是 一 个 满 列 秋 和 矩阵， 其 值 域 (空间 ) 为 


Range(H) = {y € C” : y= Ha, s € 0”} (10.6.5) 


并 HH 
Null) = {z € C”: Hz=0} (10.6.6) 
是 五 的 零 空 间 。 
现在 考虑 n x m TROUSER H 和 nx k SURE S 组 合成 一 个 mx (m+ k) iE 
HH, S|, 其中, mtk <n, WEEE [再 , 8] 的 列 秩 小 于 行 数 n, 并 用 H 的 列 向 量 与 9 
的 列 向 量 线性 无 关 。 由 于 五 的 列 向 基 与 S 的 列 向 量 线 性 无 关 , 所 以 两 个 值 域 Range H) 
和 Range(S) 是 无 交 连 的 。 
根据 投影 矩阵 的 定义 ,到 值 域 空间 Range(H, S) 的 开交 投影 算 手 为 


Pus = [Ħ, S] ((H.S],(H,S})* [HS]? 


HH el (10.6.7) 


=m, [San sig SH 


IP, Hermitian ERE A = UCU" MBM A HULU, 其 中 , 用 ~! 表示 对 角 挫 
阵 号 AME, 即 非 零 对 角 元 素 取 其 倒数 ， 零 元 素 仍 然 取 零 。 
R (10.6.7) 表明 , 正 交 投影 算 子 Pas 可 以 分 解 为 BA 


Pus = Ens + Esu (10.6.8) 
式 中 
HIH HS] jH" 
Ens = [H, Ol] [een aug [Be (10.6.9) 


HIH Hs] (A 
Esu = (0.9) (Ben Ses] [s] {10.6.10) 
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RE, O 代表 零 和 矩阵。 
利用 第 1 章 的 分 块 矩阵 求 逆 引 理 公 式 (1.7.19), 易 求 得 


H PL 上 Fr 一 一 7 
-| (HSPIH)-! (HPH) HS(S"S)! (10.6.11) 


-(S" PHS) ST H(H" H) (STPS) 
式 中 
Pt =I-P,=1-s(s"s)-1s4 
Py=I-Py=I-H(H" Hn) `H" 
将 式 (10.6.11) 代入 式 (10.6.9), 立即 得 到 


(HNPSH)-! —(HSPS$H)-!HHS(SHS)-1| [HH 
(STPS) ST H(A) (STPS) SH 
= A(H" PH) H" — H(HSPEH) HYP, 


Ens = [Ħ, 0] 


整理 后 , A 
Eps = HUH" PH) HPS (10.6.12} 


类 似 地 , 将 式 (10.6.11) HAZ (10.6.10), 又 可 得 到 
Eg = S(S" PRS) 'S™ Py (10.6.13) 


公式 (10.6.12) 和 公式 (10.6.13) 是 Behrent 与 Scharf 于 1994 年 得 到 的 64 。 


10.6.2 ”和 斜 投影 算 子 的 性 质 
BF Ems 和 Egy RAAF ERIE PA 
性 质 1 至 zls 和 Egy HARSH. WA 
Fins=Ems Egan = Esp (10.6.14) 


证 明 由 式 (10.6.12) BAI 
ls = H(H®PgH)'H"PsH(H"PgH) HPs 
= H(H" PH) HPs 
= Enis 


类 似 地 , 利用 式 (10.6.13)， 又 容易 证 明 B27 = Boy yo a 
这 个 性 质 表明 , 算 子 Bays 和 Esr SUMRRSAT. HUCNMAREA 
观察 式 (10.6.12) MR (10.6.13) MH, BRAT Ens 和 Egu 都 不 是 复 共 轿 对 称 凤 

Hermitian 的 , 所 以 它们 虽然 起 投影 算 子 , 但 不 是 正 交 投 影 算 子 。 
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定义 10.6.1 -APRA SENS E 称 为 斜 投影 算 子 。 
根据 定义 ， 由 式 (10.6.12) 定义 的 算 子 Eps 和 由 式 (10.6.13) 定义 的 算 子 妃 sjy 今后 


称 为 斜 投影 算 子 。 
性 质 2 LH, S) 到 Range([H,5]) 的 斜 投影 
EnlslH, S|] = |H, 0} (10.6.15) 
EsjulH, S] = {O,S} (40.6.16) 
或 等 价 为 
EqsH=H 和 Ens$=0O (10.6.17) 
EsnH=0O 和 EgyS=S (10.6.18) 


证 明 由 式 (10.6.12) 立即 知 
EnH = H(H" PSH) H PSH =H 
和 
Eps S = H(H"P3H) HH" PSS =O 
因为 PSS = O。 这 就 证 明了 式 (10.6.17)。 类 似 地 , 可 以 证 明 式 (10.6.18). a 


式 (10.6.17) 和 式 (10.6.18) 分 别 表明 : 
(1) Ens 的 值 域 是 Range(H), 而 Ens 的 零 空间 包含 Renge(S), ME 


Range(E ps) = Range(H),  Range(5) C Null(E yg) (10.6.19) 
(2) Esu 的 值 域 是 Range(5), 而 Es 的 零 空 间 包含 Range(H), UA 


Range(E sg) = Range(S), Range(H) C Null(E’g)) (10.6.20) 
换言之 , 斜 投影 算 子 Ems HERE Egy, 的 零 空间 内 ， 而 Esu 的 值 域 则 在 Eps 
的 零 空 间 内 。 
PRAT Ens 读 作 “ 沿 着 与 子 空间 Range(S) 平行 的 方向 ,到 子 空间 Range(H) 
上 的 投影 算 子 "。 类 似 地 , 斜 投影 算 子 Eo 则 读 作 “ 沾 着 与 子 空间 Range(H) 平行 的 方 
向 , 到 子 空间 Range(S) 上 的 投影 算 子 ”。 这 一 称呼 给 出 了 性 质 2 的 几何 解释 。 以 斜 投影 
BF Ems AW, 其 投影 方向 与 子 空间 Range(S) 平行 故 投影 算 子 Ens 的 子 空间 与 
子 空间 Range(S) 不 可 能 右 任何 交 连 。 出 于 EEjlsH 是 治 着 与 子 空间 Range(S) 平行 
的 方向 , 到 子 空间 Range(A) 上 的 投影 , 而 五 本 身 位 于 子 空间 Range’), URRY 
EqgH 的 结果 为 H, 即 Ey gH =H。 
性 质 3 MHS Ens 和 百 sir 的 交叉 项 为 零 , 即 有 


EnmsEsns=0O, EsguEns=0 (10.6.21) 


证 明 由 式 (10.6.12) 和 式 (10.6.13) 易 知 
EmsEsn = H(H"P5H) H" PS. S(S" P38)" H" PE =O 
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因为 PiS =O. 类 似 地 , 可 以 证 明 Eg), Ey|5 =O, 因为 PEH =O. a 
HTABEET Ens 和 Esu 的 交叉 项 为 零 , 故 它们 的 值 域 空间 Range(E ys) 和 
Range( 忆 slz) 是 无 交 连 的 。 注 意 ， 两 个 千 空 间 无 交 连 ， 并 不 意味 着 这 两 个 子 空间 正 交 。 
FAZER ERB HR: 正 交 的 子 空间 一 定 是 无 交 连 的 ,但 无 交 连 的 子 空间 不 一 定 
正 交 。 
性 质 4 PBE Ens 后 ， 再 向 子 空间 Range(H) 上 投影 ， 得 到 的 结果 与 原 斜 投影 
Eps 完全 相同 ， 即 


Eps = PuE ss (10.6.22) 


类 似 地 , 有 
Esin = PsEgyy (10.6.23) 


证 明 ”由 正 交 投影 算 子 的 定义 及 式 (10.6.12), 易 知 
PuaEns = H(HYH)-'HIH( PSH) HPS 
= H(H" Pg) HPs 


= Ems 
类 似 地 , 可 证 明 式 (10.6.23). 
这 一 性 质 也 是 件 质 2 的 体现 ,与 斜 投影 算 子 的 几何 解释 吻合 : HBE Ens ae 
与 子 空间 Range(S) “TWA A, HAER Renge(H) 上 的 投影 ， 即 有 Range(E pg) = 
Range(H). AK, 斜 投影 Ens 再 向 子 空间 Range(H), 其 结果 将 不 会 发 生 任何 变化 。 
性 质 5 广义 逆 矩 阵 与 斜 投影 的 乘积 
HE gg =(PsH)',  S'Egg = (PRS) (10.6.24) 
式 中 , Bt = (B95B)-1B RIRE B 的 广义 逆 矩 阵 。 
证 明 HA, BEXREA TREGER Hermitian 性 , 有 
(H" Pin) = [HN(PS)S PSH) = (PH) PHH] (10.6.25) 


利用 式 (10.6.25) 易 得 - 
HtE yg = (H"H) H”. HH" PZ) APS 
= (P3H) P3H] (PSH)™ 


= (P3H) 
式 (10.6.24) 中 的 第 二 个 公式 可 类 似 证 明 。 a 
性 质 6 正 交 投影 与 斜 投影 的 乘积 
PiEnsP§ = P§PpinPS =Ppin (10.6.26) 
证 骨 利用 式 (10.6.12), 立即 有 


PyEmsP§ = P5: H(HIPSH) APs Ps (10.6.27) 


10.6 满 列 秩 矩 阵 的 斜 投影 算 子 693 


利用 正 交 投影 算 子 Pi 的 寡 等 性 和 式 (10.6.25), 可 将 式 (10.6.27) BH 


P3EqsP3 = PS. PEHI(PEH) P3H] (PEH) Ps = P4 P pi gy PS 
类 似 地 ， 又 可 将 式 (20.6.27) 简化 为 
PgEyjgP5 = PŁH(H®PH)'H"P3 = Pps py 
4 


这 就 证 明了 式 (10.6.26) 
性 质 5 和 人 性质 6 可 视 为 斜 投影 算 子 与 正 交 投影 算 子 之 间 的 关系 。 
性 质 7 考 子 空间 Range(H) 与 Range(5) CX, 即 Range(H) 1 Range(S), 则 和 斜 投 
影 Ens 和 Esn 分 别 简化 为 正 交 投 影 Py 和 PH, 即 


Ens = Py, Esu = Ph (10.6.28) 


证 明 ” 当 子 空间 Range(#) 与 Range(5) ERA, 它们 的 正 交 投影 算 子 满足 Ps = Ph 
Al PZ = Py 之 关系 。 于 是 , 有 


Enis = H(A" P3H) APs = H(H Py H) 'H" Py (10.6.29) 


另 一 方面 , 根据 正 交 投影 算 子 的 定义 ,容易 验证 PyH =H., AALS H Her- 
mitian 性 PY = Py, XE H'Py = (PyH)" = H". $ PH = HH HYP = H" 
代入 式 (10.6.29), Mj 


Ens = H(H" 8) H? = Py 


类 似 地 , 有 
Esin = Ps = Ph 
部 式 (10.6.28) 得 证 。 " 
性 质 7 表明 ， 斜 投影 算 子 是 正 交 投影 算 子 的 扩展 ,而 正 交 投影 算 子 则 是 斜 投影 算 子 
的 一 个 特例 。 为 了 方便 读者 使 用 , 现 将 斜 投影 算 子 的 性 质 汇总 于 下 P, 
(1) Eps 和 Es DORSET, 即 有 


Eins = Enis, Eh = Esu 
(2) Enys(H, 5] = [H,0] 和 Esul, S) = [O, 5], 或 者 等 价 为 


EmsH=H, EpsS=0 
EsyH=0, EgyS=S 


{3) 斜 所 影 算 子 Ens 和 Egy 的 交 义 项 为 零 , 即 有 


EnsEsu=0, 了 slaBals=O 
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(4) 斜 投影 后 ,再 正 交 投影 ,不 会 改变 原 斜 投影 : 


Eps = PyEx\s, Esu = PsEsy 
(5) $ Bi = (BEB) B" RE B A SORE, JU 


H' Eps = (PgHyt, SEsy = (P#S)! 


(6) 斜 投影 矩阵 与 正 交 投影 矩阵 的 关系 : 
P5EnsP53 = PEP pin Ps = Ppyy 
(7) 老子 空间 Range(H) 与 Range(S) EX., 即 Range(H) L Range(S), 则 


Ens = Pu, Egy = PH 


10.6.3 ”和 斜 投影 算 子 的 几何 解释 
总 结 以 上 讨论 , 可 以 得 到 二 个 投影 算 子 各 白 的 涵义 如 下 ， 
0) 正 交 投 影 算 子 Pgs 是 到 合成 矩阵 [五 , 5] 的 列 向 量 张 成 的 值 域 空间 Range(H, 9) 
上 的 正 交 投影 算 子 。 
(2) 斜 投影 算 子 Ens 攀 沿 着 值 域 空间 Range(S), 到 另 一 值 域 空间 Range H) 的 投 
影 算 子 。 
(3) 斜 投影 算 子 Bo, 大 沿 着 值 域 空间 Range(H)， 到 值 域 空 间 Range(S) 的 投影 
HY. 
前 面 已 经 解释 过 , 斜 投影 算 子 Ens 的 值 域 是 Range( 好 )， 其 零 空间 包含 Range(S)。 
为 了 完整 地 表达 斜 投影 算 子 Ems HFE, UER A EARE [5] WERE 
阵 ， 即 有 


[BE,S4=O 
从 而 有 
HSA=O, S"A=O (10.6.30) 
BORER SSES), 即 可 将 STA = O 等 价 写作 
PgA=O> PEA=A (10.6.31) 


利用 这 些 结果 , 由 式 (10.6.12) 得 
Eq\sA = H(H™PgH)HPSA 
= HA(H' pia) 'H"A=0 
这 说 明 , ERE 4 的 列 张 成 的 值 域 子 空间 Range(4) 也 在 斜 投影 算 子 Ens 的 零 空 间 内 ， 
BH Range(4) C Null( 吾 zls)。 
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式 (10.6.30) 表明 ， 值 域 子 空间 Range(A) 既 与 值 域 Range(H) 正 交 ， 又 与 子 空间 
Range(S) 正 交 。 丁 起 ,可 以 利用 二 个 空间 方向 Range(H), Range(S} 和 Range(A) 作为 
由 nx (m-+k) JERE (E, S] 的 列 向 量 张 成 的 Euclidean 空间 Cm+* 的 坐标 轴 ， 如 图 10.6.1 
所 示 。 


S =Range(S) 


H =Range(H) 
(a) 正 交 投影 的 几何 解释 


Range( A) 


+ =Range(S+) 
(b) 斜 投影 的 几何 解释 


图 10.6.1 正 交 投影 与 斜 投影 


图 10.6.1 P, 坐标 轴 Range(A) 与 另外 两 个 坐标 轴 Range( 五 ), Range(S) 垂直 ,但 水 
平面 上 的 坐标 轴 Range(H) 和 Range(S) 不 相互 垂直。 换 名 话说 ,Euclidean 空间 可 以 分 
解 为 三 个 方向 的 直 和 ， 


cm+k = Range(H) © Range(S) © Range(4) (10.6.32) 


图 10.6.1 (a) 所 示 的 正 交 投影 已 经 在 前 面 解 说 过 , 现 对 图 10.6.1 (b) 所 示 的 斜 投影 解 
eo: 当 向 其 y 位 于 两 个 坐标 轴 Range(H) 和 Range(S) 组 成 的 水 平面 上 时 , Ay 
沿 着 与 Range(5S) 平行 的 方向 , 到 Range(H) 的 斜 投影 Eny 满足 以 下 两 个 条 件 : 

(1) PARE Ey sy 位 于 坐标 轴 Range(H) L, Bl Eisy < Range(H): 

(2) BBY Eny 的 端点 到 向 量 y 的 端点 之 间 的 连 线 与 坐标 轴 Range(S) 平行 , 即 

Eplsy ¢ Range(S). 
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如 图 10.6.1 (b) 所 示 , 对 于 Euclidean 空间 中 的 向 量 y 而 言 ， 斜 投影 Epy 的 构造 
RAAF BR: 
(1) Flat y AURA SIARH Range(H) 和 Range(S) 组 成 的 平面 上 ， 即 投影 
Pxsy 是 向 量 y 在 矩阵 H, 8] 的 列 张 成 的 值 域 Rangelt, S) 上 的 正 交 投影 , 记 
作 Yas = Pusye 
(2) 利用 图 10.6.1 (a) 的 方法 , 求 正 交 投 影 yzys 沿 着 与 值 域 RangelS) 平行 的 方向 ， 
到 值 域 Range(H) 的 斜 投影 Easing: 
TE, 向 量 y HRY Ey oy 由 Elsy = Eglsyys 给 出 。 
证 投影 算 子 的 物理 涵义 是 ， 向量 y BLY Ensy 是 向 量 y WAER Rangel S) 
的 方向 , 到 值 域 Range(H) 的 投影 。 翻 译 成 信 叶 处 理 的 语言 , 即 是 “ 斜 投影 By oy 抽取 
向 量 y 在 特定 方向 (ER Range H)) St, 并 完全 对 消 掉 向 基 y 在 另 一 个 方向 ( 值 域 
Range(S)) 的 所 有 分 其 ”。 
从 图 10.6.1 还 可 看 出 , 投影 Pay 是 向 量 y 到 值 域 Range(4) 的 正 交 投影 。 其 中 , 投影 
Pay 不 仅 与 Ey sy ER, MARY Egay EX, WY Pay 1 Englsy 和 Pay 上 Ese 


10.6.4 ”主角 与 斜 投影 矩阵 的 关系 


在 9.1 节 中 定义 了 两 个 子 空间 之 间 的 主角 。 下 面 的 引 理 描述 了 两 个 值 域 空间 的 主角 
与 斜 投影 矩阵 之 间 的 关系 。 
引 理 10.6.10 假设 斜 投影 矩阵 Eps 的 第 # 个 奇异 值 为 mi, 并 且 子 空间 Range(H) 
和 Range(S) 之 间 的 第 i 个 主角 为 po W 
1 


re] (10.6.33) 


证 明 BA 由 于 和 是 乘积 矩阵 URU s 的 奇异 值 , 所 以 准 UU CUO y 的 特征 
tE. 由 式 (9.2.24) 知 


cos?p; Æ UBPsUE 的 一 个 特征 值 

=> 1~cos?2 8， 是 F-UYP Ugn 的 一 个 特征 值 

> sme, 是 USU-P Uy 的 一 个 特征 值 

1 

sin? ¢, t 

由 于 特征 值 相对 于 正 交 变换 具有 不 变性 , 最 后 的 等 式 意味 着 

we 是 UUPUU 的 一 个 特征 值 (10.6.34) 

另外 ,由 于 Up 张 成 值 域 子 空 间 Range(H), 即 Span(Uy) = Range(H), WE (10.6.12) 
可 以 等 效 写 作 


Ems = 再 (GEP 寺 BE) -REP 二 一 Da(D 且 PS) UBPS 


是 (UEPSU,) 的 一 个 特征 
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从 而 得 
Eps Ets = H(A" PZR) `H" =UyUgPsUy) US 


将 这 一 结果 代入 式 (10.6.34), BAN 1/(sin? 加) 是 Eps Efe 的 特征 什 。 就 是 说 ,1/ sin 8 
是 Eng 的 奇异 值 。 n 


10.6.5 ”多 个 子 空间 的 斜 投 影 算 子 


前 面 讨论 了 两 个 子 空间 的 斜 投影 算 子 , 现在 考察 多 个 子 空间 的 情况 。 假 定向 其 空间 
V 可 以 分 解 为 p 个 无 交 连 的 子 空间 V BDV p 个 子 空间 的 直 和 分 解 : 


V=eVehe-- ey {10.6.35) 
因此 , 向 量 空间 V 内 的 任意 一 个 向 量 x 可 以 唯一 表示 为 
E= g+ Eg +H HE (10.6.36) 


RP, zE Vp i = 1 2 ,Pp。 问题 是 如 何 确定 w,, i = 1,2, ,p。 
令 We 表示 Y 空间 中 除 子 空间 V, CIRIE p-1 FERRA, H 


V= 6° OV OVO: OV (10.6.37) 


于 是 , 子 空间 V, 的 零 空间 由 与 V; EREK Vi;) 与 Y 空间 的 正 交 补 V+ 的 直 和 组 成 , 即 
A Vay OVi. BR, 向 量 x 变换 为 s EV, 的 映射 次 定 了 唯一 的 线性 宕 等 算 子 


E,:2 > 2, (10.6.38) 
称 之 为 沿 着 零 子 空间 Vg @ V+ 到 值 域 子 空间 V, = Range(E,) 的 斜 投影 算 子 。 因此 , 有 
z= Es + Eat: + Ept {10.6.39) 


由 于 E; 的 值 域 V, 与 零 空间 Vi; @V+ EXE, MAREA THX ERETTE, 
即 
BiB;=O, i#j - (10.6.40) 


另 一 方面 , 由 


> 
waa +g +-+ Tp = Est Et + Ee > Be 


ist 


立即 知 , 斜 投影 算 子 E, En, Ep 必然 满足 以 二 关系: 


Dz =I (10.6.41) 


i=1 
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总 结 以 上 讨论 , 可 以 得 到 多 个 子 空间 的 斜 投影 算 子 具 有 的 性 质 : 


Range(E,) = V, 


下 面 分 析 多 个 子 空间 的 斜 投影 算 子 与 正 交 投影 算 子 之 间 的 关系 。 
S PAIP, 分 别 起 到 子 空间 HH, 的 正 交 投影 算 子 , 而 


H=P-P, 
是 到 AA OH 的 正 交 投 影 算 子 。 
定义 
Hy; = H,H, HL, 
并 引入 符号 
Hy i=l 
Ha = ¢ Hya i=k 
Heap Wein, 2Cigke-1 


Kayalar 与 Weinert250 HEW SLAF ANEH. 
定理 10.6.1 ABATE, (i =1,2, ,上 由 下 式 给 出 ; 


p = JP ual- HH),, l<j<i-l 
* Py Bey — 1), igjgk 


定理 10.6.2 REAT E (i= 1 2 … k) 可 以 构造 如 下 : 


E, = Pi, (I -Ena A) 


式 中 


Hy = MH H; 


Totes i=l 
Hi = § Hiti: i=k 


页， 2<i<k-1 


10.7 ” 满 行 秩 矩 阵 的 斜 投影 算 子 


(10.6.42) 
(10.6.43) 


(10.6.44) 


(10.6.45) 


(10.6.46) 


(10.6.47) 


{10.6.48) 


(10.6.49) 


(20.6.50) 


(10.6.51) 


在 前 面 几 节 关于 正 交 投影 算 子 和 和 斜 正 交 投影 算 子 的 讨论 中 , 均 以 满 列 秩 的 矩阵 作为 
讨论 对 象 。 如果 是 满 行 秩 和 矩阵 ， 则 相对 应 的 正 交 投影 算 子 和 和 斜 投影 算 子 具有 不 同 的 定义 


与 表达 形式 。 
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10.7.1” 满 行 秩 和 矩阵 的 斜 投影 算 子 定义 


E De Cmx 具有 满 行 秩 , 即 rank(D) =m (m < k) WRHRERE Pp 是 一 个 
kx k WER ESN 


Pp = D*(DD")"'D (10.7.1) 
SAGEM B e C™** AC e C"x*, 它们 都 是 满 行 秩 矩 阵 , 即 rank(B) = m, rank(C) = 
n, 并 且 它 们 组 合成 的 矩阵 z E Cimen) xk 也 十 满 行 秩 的 , 即 其 秩 为 m+n, 其 中 , mtn < 
ko ZAKE, 矩阵 B 的 行 向 量 与 C 的 行 向 量 线性 无 关 。 从 而 , 矩阵 B 的 行 向 量 张 成 的 
值 域 空间 (简称 行 空间 ) Za 和 和 矩阵 C 的 行 空间 Zo 古 无 交 连 的 。 
$D= (él: 并 代入 到 式 (10.7.1), 可 求 得 正 交 投影 算 子 


H H77} 
Pp = [B,C [er ban 回 (10.7.2) 
它 可 分 解 为 
Pp = Ez,lz, + Ezlzs (10.7.3) 
式 中 
H BJ ` 
Ez,\2, = [B",C"] [es oo] lo] (10.7.4) 
H H] -1 
Ez iZ, = [BE Ce [es eer 加 (10.7.5) 
用 短 阵 [E| 分 关 左 到 以 上 两 式 , 立即 有 
WE (20.7.8) 
[B] sase, =f] born 
或 等 价 为 
BEz,\2,=B3, CBEzolze =O (10.7.8) 
BEz,\2,=0, CEz2,=C (10.7.9) 
这 表明 , WY Ez z, 与 Bee, 之 间 无 交叉 项 , 即 
Ez,\2,E zz, =O 和 Ez,lzs Ezolzso =9 (10.7.10) 


正 交 投 影 算 子 Pp RTE, 得 


Pi, = (Bz,ls, + Ez iz, (Ez izo 十 到 zolzs) 


_ F2 2 
一 如 zalzo + E212, 


= Pp = Ez,lzc + Ezz, 
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由 此 有 
ze = Ezaz Ee,lz, = Ez,i2, (10.7.11) 
由 于 具有 徊 等 性 , 故 Ezz, M Ez z, 均 为 投影 算 子 。 又 由 式 (10.7.8) 和 式 (10.7.9) 
RM Ezz, 和 Ezaz, AARNE. 
满 行 秩 矩 阵 的 制 投影 算 子 具 有 以 下 有 用 性 质 nea 。 
性 质 1 EM BATES C 的 行 空间 正 交 , 即 BCF = 0, CB = O, NH 
投影 退化 为 正 交 投影 : 


Ez,\2, = BBB") B= Ps (10.7.12) 
Ezz, = OUCO")"C = Po (10.7.13) 
证 明 将 正 交 条 件 BC" = O fl CB" =O 代入 式 (10.7.4), 立即 有 
BBY Oo] 区 
o cœ] jo 
C celie 
o ce o 
= BY(BB")'B 
= Py 


Ezz, = [B,C | 


-Ba oa i 


类 似 地 , 可 以 证 明 Ez jz, = C7(CO7) >C = Poo E 
性 质 2 40) A=MB+ NC; (2) E BRC 的 行 空间 无 交 连 , 则 


ABz,lz, = MB (10.7.14) 
AEz 2, = NC (10.7.18) 
证 明 由 条 件 (1) 知 


AEz 2, = (MB + NO)Ez 12, 
= MBEz z, + NCEz, 12, 


但 是 ， 在 条 件 (2) 之 下 , 式 (10.7.8) 成 立 。 将 式 (10.7.8) 代入 上 式 ， 立 即 得 ABZ zo = 
MB. 类似 地 , 可 以 证 明 AEz z, = NC。 E 


10.7.2 ”和 斜 投影 的 计算 
由 第 4 章 知 , m xn (m> n) 实 矩 阵 A 的 QR 分 解 为 


QTA= la] (10.7.16) 


RH, QA mxm EZER, RAL 
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车 BB 是 一 个 歼 数 大 于 行 数 的 实 和 矩阵 B, 则 只 要 令 B = AT, 并 取 QR 分 解 式 (10.7.16) 
的 转 置 , MISERE B 的 LQ 分 解 如 下 : 
BQ = ATQ =[L,0] (10.7.17) 
或 
B = |L, 0]Q7 (10.7.18) 


RP, L= R 为 下 三 角 和 矩阵 。 
($ Be R™* Ce RM, Ac RvR, FER, (mt nt p) < k, 则 矩阵 [Br,cr,4z] 


的 LQ 分 解 为 


B Ln 
C| [QQQ] = |En Lay (10.7.19) 
A £31 Ly Lss. 


RP, Qi E RM, Q, © REX", Qg € ROP 为 正 交 矩 阵 , 即 QTQ; = I 和 QTYQ; = O,6 #3; 
并 且 Ly ASAE. XK (10.7.19) 也 可 以 等 价 写成 

QT 

Qt (10.7.20) 


B Ly 
C| = |En Ley 2 
A Ly, 了 sz Luj | Qt 
根据 斜 投影 定义 式 (10.7.4), 并 利用 QTQ, = 了 和 QQ, = D,i 关 7 ARA 
BB? BCT)" |B 
Ez,lzo = [en ,on] (ar ber] al 


-ig ay [ze j Dn ] QTQ, RQ [za 了 了 z 
D2 [Lz Ee Ln Laz} |QEQ, QQ;| En La 0 


-1 
=[Q; Q] [zs tal lo (10.7.21) 
类 似 地 , 有 
一 1 
Ez,\2, = (Qu Q] e tal 网 (10.7.22) 
VERSURI 4 的 LQ 分 解 为 

QT 

A = [East Loo, Les] | QF 

QF 


由 式 (10.7.21) 可 求 得 p x k 矩阵 A 的 行 空间 沿 着 与 n xk 和 矩阵 C 的 行 空间 平行 的 方向 ， 
Bl mx k ERE B 的 行 空间 的 斜 投影 等 于 


Qi L -1 B 
AE z izo = [Ean Laz Las] 1Q2 | Qi Qc] [ee ta lol 
Q 


- my "|B 
= Hata oj fo 
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ES 4 
[Ls1, £32] [zs tal = [La, Le] (10.7.23) 


则 有 185) 
B 
AEz iz, = [Ls, Ec] [el =LsB (10.7.24) 


类 似 地 , px k JERE 4 的 行 空间 沾 着 与 mx 大 矩阵 B 的 行 空间 平行 的 方向 , F] nx k 
矩阵 C 的 行 空间 的 斜 投影 等 于 


AEs, jz = [Ls, Lo] [el = LoC (10.7.25) 
由 式 (10.7.23) 得 
[es Lal = Esto [E 2 
WA 
Lo = LaLa (10.7.26) 
Lg = (Ey — LoLa Ly} = (Lz — Lag bag Dy Ly! (10.7.27) 
将 以 上 两 式 分 别 代 入 式 (10.7.24) M (10.7.25), 则 有 


AEz izo = (La — Lab Dy LiL, QT 
= (Ly, ~ Lag bag Lay) QT (10.7.28) 


1 GT 
AE Zz 2, = 工 s2 工 52 [Lo21, Lo2) [34] 


= Lag hag Ly QT + Ly9Q? (10.7.29) 


10.8 ”和 斜 投影 算 子 的 应 用 


斜 投 影 算 子 已 经 陆续 应 用 于 广义 图 像 恢 复 (9、 求 解 大 型 非 对 称 方程 组 839、 快速 
系统 辨识 Rod 、 多 变 元 分 析 [4q 、 偏 相关 (PARCOR) 估计 [23859、 脉 冲 噪声 对 消 Kao、 误 
码 校正 编码 Bo 、 狂 发 误 码 校正 解码 Ps、 模型 简化 ?4 、 系 统 建 模 39、 无 线 信道 的 估 
计 te、 信道 与 发 射 字 符 的 联合 估计 le] 。 下 面 介绍 几 个 典型 的 应 用 。 


10.8.1 ”系统 建 模 


在 系统 辨识 、 参数 估 计 、 信 号 检测 等 实际 情况 中 , 除了 感 兴趣 的 信号 《简称 期 望 信号 ) 
Sh, 往往 存在 其 他 干扰 信号 或 加 性 有 色 品 声 。 此 外 , 测量 误差 总 是 不 可 避免 的 ， 它 们 通常 
表现 为 高 斯 白 噪声 ,不妨 令 8 是 期 望 信号 待 估计 的 参数 向 量 ， 它 道 过 一 线性 系统 H 后 ， 
产生 期 望 信号 x = HO. 假定 其 他 干扰 信号 向 量 与 (或 ) 加 性 有 色 噪 声 向 量 i 由 另外 一 个 
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合成 的 线性 系统 8 所 产生 , 即 i = S4。 若 观测 数据 向 量 为 y, 加 性 白色 测量 误差 向 量 为 
e, WH 

y= HO+ Sp+e (10.8.1) 
图 10.8.1 画 出 了 这 一 观测 模型 的 方 框图 。 通常， 产生 期 望 信号 的 线性 系统 A 的 各 个 列 
向 量 不 仅 线性 无 关 , 而 且 与 产生 干扰 或 者 有 色 噪 声 的 线性 系统 8 的 各 个 列 向 量 也 线性 无 
Ro 内 此 ， 由 线性 系统 H 的 值 域 Range H) 与 线性 系统 S 的 值 域 Range(S) 是 无 交 连 
的 , 但 它们 一 般 是 不 正 交 的 。 


6 {x} -@ -y 
TET 


图 10.8.1 ”观测 模型 


由 一 线性 系统 产生 的 任何 非 期 望 信号 常 统称 为 结构 化 噪声 (structured noise). 假定 
结构 化 噪声 与 加 性 高 斯 白 噪 声 e 正 交 , 则 


(S¢,e)=0 => "Se =0, V¢40 一 STe=0 (10.8.2) 


类 似 地 , 设 期 望 信号 也 与 加 性 高 斯 白 噪声 正 交 , 又 有 
Hie=0 {10.8.3) 


给 定 矩阵 H 和 S$， 系统 建 模 的 日 的 是 估计 与 期 望 信号 有 关 的 系统 参数 向 量 9。 为 
此 , HERBE Ps ERR (10.8.1), 即 得 


Piy = P}H0 +e (10.8.4) 


这 里 使 用 了 P#S=O 和 Pie=|I-S(SHS)-1SHje=e,。 
用 矩阵 H" ERR (10.8.4) 两 边 , 并 利用 五 ae =0, HA 


6=(H* PtH) HH PSy (10.8.5) 


于 是 ， 期 望 信号 的 估计 为 


ê= HO = AH! PSA) A" Poy = Eylsy (10.8.6) 


即 期 望 信号 的 估计 是 观测 数据 向 量 y HEE S 的 列 空间 平行 的 方向 , 到 及 的 列 空 
闻 上 的 斜 投影 。 
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10.8.2 ”信道 与 字符 联合 估计 


考虑 单个 输入 M 个 输出 的 存 限 冲 激 响应 (FIR) 系统 ; 


‘2(k — L) 
L . 
vlk) = J halk- 1) + olk) = (Az. Pa Pol | :| + tk) (10.8.7) 
120 Ce 
T 


RH, z(k) 是 用 户 在 天 时 刻 的 发 射 宁 符 序 列 ， 为 复 标量 ; h, ROE: v(k) 
为 加 性 复 品 卢 向 量 ; 而 


ylk) = [n Ck), ya(k), uae (AI? 


表示 M 个 阵 元 的 观测 数据 。 
定义 矩阵 
we) ya@tl) … xa+j~1) 
2) ... ; 
Yap = wes ) set ) seti) (10.8.8) 
yb)  yb+i) - yb+j-1) 
a{a) aati) --- z(a +j- 1) 
Xp = werd ae?) T ar (10.8.9) 
a() 241) = a(649-1) 
H = [hr ,hi, ho] (10.8.10) 
MH k=aa+1, a +i- 1P, X (10.8.7) 可 以 写成 
HOO .- a(a—L) zđa-L+1) . 2(a~L+j-1) 
O H O || |z(@~L+1) zía-L+2) …  2(a—L+5) 
Yoari-i= |. - : : : : + 
O O -— Hlz@+ti-l) aati) =- sz(a+i+j-2) 
Em 
H: Xa-tja+i-1 
Vajati—1 
(10.8.11) 


= HK Lot + Vojeti-1 


st, Hi 是 一 个 Mix 化 十 1 矩阵， Hi 表示 数据 模型 的 平滑 因子 。 
构造 一 数据 矩阵 ， 并 将 其 分 块 为 “过 去 ”输出 矩阵 Yu。 “现在 ”输出 矩阵 Ye- 和 “将 
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来 "输出 矩阵 Yu, 即 


Mo Y; 


Ypa --- Yas --- Yiri 
pr | =| Yims |= : : 《10.8.12) 
Yn LT - Mee alee Meters - 
Yi+L+1 Vins 
Yair U Mare n4j—2 
命题 10.8.1 假设 
(1) H 具有 满 列 秩 ; 
(2) 矩阵 [ g | 具有 满 行 秩 , WO rank ( [oe ) =L +i). 
42/2645, i+1|2i+L. 
ES 
Wi = Yp Eyra We = Y prEy iroa (10.8.13) 
则 有 
Yp =W +W: (10.8.14) 
并 且 
Wy = F151: Xie (10.8.15) 
Wa = Hr L +1: 2D) Xn (10.8.16) 
式 中 
hy ue hy ho 
HG1: L)= :|, MGL+1a= |: (10.8.17) 
hy hg ho, 
证 明 6S 由 假设 (1) 知 , 矩阵 Hi TEZE COMMER H! = (HPH) IHP. uk, Yp 
可 以 写成 Ybs MY, 的 线性 组 合 , MA 


Ki 
Hr O00HtYs, 


Yp = My |--o 
HH 


f Ena] 


[0, LL] M}Y po 
= [Mp G,1: E), Hr L +1: 25)] |---------- 


= [0, Hr (i 1: DY + [H E+ 1: 2L), 070% p 
=W,+W, 


1) 
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又 由 假设 (2) 知 , ERE Ypa = Yi 和 Yan = Ypres 的 行 空间 无 交 连 。 对 式 (1) 应 
用 满 行 秩 撼 阵 的 斜 投影 算 子 的 性 质 2， 可 求 得 斜 投影 


Wi = [0, Hr (1 : DPY ae 


0 hy = h 
= I| Xs 

0 0 Ay, 

hg > Ay] fei +1- E) + a(i +j- L) 

Ow hy a) 45-2) 


= Hy (1: LX ips ais 


类 似 地 , 可 以 证 明 


ho zit+1) + ait) 
Wa=| : : : 
hy, -e hoj [eG +0) ©- z@+L+4-1) 


=H, L+1 :2L)X ipi 


这 就 证 明了 本 命题 。 E 
定义 
W1: (L-1)M,2:})-W,(M+1:LM,1:j—1) 
z=-| : WDM LMD | (10.8.18) 
W,(1:M,1:j—1) 
e= lwar (+ DM,1:j}-1)- W,(1: rmai) (10.8.19) 
则 有 
站 we i oz 十 2 一 工 ) 2(G+3-L) +»  s(i+j-L) 
h hia _ mi r z(i +3- L) wi+4-L) = sü+j+t- E) 
1 
GT z(t2) z+ —1) 
a 人 十 1 一 也 ) c@+2-L) = z(f+j-L-1) 
zG+2-L) e@+3—-L) os  ai+s—L) 
ați -1) ali) ai+j-3) 
zi) ai) -= a+ 5-2) 
hy 
= "a [z(t 1), (64 Dyes eG +5 - DI (10.8.20) 
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类 似 地 , 有 
ho 
h 
Q=| } |BE+D eat ,zitj— 1 (10.8.21) 
hr- 
综合 式 (10.8.20) AX (10.8.21), 得 
ho 
2h, 
H + H =| : { G41), e@+2),--- etin] (10.8.22) 
2hz-1 
Ay 
显然 , 这 是 一 个 秩 为 1 的 矩阵 。 令 奇异 值 分 解 


I + H =UV" (10.8.23) 


由 于 秩 1 矩阵 只 有 一 个 非 零 奇 异 值 , 式 中 的 奇异 值 矩 阵 © = diag(o,,0,--- ,0)。 因 此 , 上 
式 可 以 写作 


[j+ [E] -veneva Deve DvG -sy (10.8.24) 
比较 式 (10.8.22} 和 式 (10.8.24) 知 
次 2 人 十 对 [| oV(1,1) 
: | =U,D) G+ | -| avy (10.8.25) 
"et sii- lavg-11) 


SPEA, SER | 多 | + | 号 | 的 最 大 奇异 值 对 应 的 左 奇异 向 量 UG:,1) 和 右 
奇异 向 量 VG, 1) 分 别 给 出 信道 向 是 和 发 射 字符 的 估计 。 
以 上 讨论 可 以 归纳 为 下 述 信道 与 字符 联合 估计 的 什 投 影 算法 keq。 
算法 10.8.1 (信道 与 字符 联合 估计 的 斜 投影 个 法 ) 
SRI 计算 数据 矩阵 的 LQ A 


Yoo] JEn T 
Yor] = |En Ez 2 (10.8.26) 
Yiu Ls Ls Lys} 1Q3. 
FR2 确定 信道 的 阶 数 工 。 
FRI 计算 Wi A Wy 
L T [Em 
Wisata lin zo) [Br (osan 
-1 
Wa = [Lai, Daa] (ez tn] PA Ya (10.8.28) 


PRA 按照 式 (10.8.20) 和 式 (10.8.21) 构造 矩阵 P 和 Q 
步骤 5 由 式 (10.8.25) 计算 信道 向 量 和 发 射 字符 的 估计 。 
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本 章 小 结 


向 量 或 矩阵 到 子 空间 的 投影 分 为 正 交 投影 和 斜 投影 两 大 类 。 正 交 投影 是 斜 投影 的 特 
D. 描述 正 交 投影 的 矩阵 分 为 投影 托 阵 和 正 交 投影 矩阵 。 本 章 从 数学 和 信和 号 处 理 的 不 同 
观点 出 发 ， 对 投影 蝶 阵 进行 了 讨论 与 分 析 , 并 得 到 了 相同 的 结果 . EF MET 
阵 与 正 交 投 影 失 阵 的 冲 推 计算 及 其 在 自 适应 滤波 器 设计 中 的 应 用 。 

斜 投影 刻画 了 另 一 类 重要 的 科学 与 技术 问题 : 沿 着 一 个 子 空 间 到 另 一 个 子 空 间 的 投 
影 . 本 章 围 绕 满 列 秩 矩 阵 和 满 行 秩 矩 阵 的 斜 投影 算 子 ,重点 介绍 了 它们 的 性 质 、 计 算 方 法 
以 及 几 种 次 型 应 用 。 


习 是 


10.1 证 明 唯一 的 非 奇异 备 等 短 阵 为 单位 矩阵 。 

10.2 着 4 ARER, 证 明 

(1) 矩阵 A* 具有 与 4 相同 的 特征 值 。 

(2) A‘ 与 4 具有 相同 的 秩 。 

10.3 假定 4 和 B 为 对 称 矩 阵 , 并 且 BILE. € AB 的 所 有 特征 值 为 1 或 者 0， 
证 明 AB 是 寡 等 矩阵 。 

10.4 #A,BAnxn BSR, FH AB = BA, 证 明 AB LESSER. 

10.5 WEH: 

(1) 满足 A? = O SMM A 奇异 。 

(2) # A'=0,i1=1,2,-.-,k-1, 1E A ZO, WA Ae 

10.6 $ X 表示 观测 数据 矩阵 , 现在 用 它 估计 向 量 y。 已 知 两 个 观测 数据 向 量 a, = 
[2,1,2,3]7, æ = [1,2,1,4F。 若 使 用 它们 估计 Y = [1,2,3, 217, 求 估计 的 误差 平方 和 。 ( 提 
示 : 令 最 优 滤波 器 为 wo 则 有 观测 方程 Xw =Y ) 

10.7 证 明 : & P 是 沿 着 子 空间 H 到 子 空间 5 的 投影 算 子 , 则 P 起 沿 着 子 空间 
5 到 子 空间 H 的 投影 算 子 。 

10.8 BEV, V: DWAR Ce 的 子 空间 W 的 两 组 正 交 基 组 成 , 证 明 


ViVEp = V, Vie 
对 所 有 向 量 x 成 立 。 


10.9 证 明 : 者 投影 算 子 P, 和 P 起 可 交换 的 , 即 P, = Ps = PPa 则 它们 的 乘 
P= P,P, 是 一 投影 算 了 于; 并 求 P 的 值 域 Range(P) 和 零 空间 Null(P)。 
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10.10 令 忆 为 一 投影 算 子 , 并且 Range(P) = Col(V), Null(P) = Col(V). RAH 
EUV 表示 投影 算 子 Po 
10.11 BARE 


< 
和 


分 别 求 它们 的 Moore-Penrose WERE At， 并 解释 为 什么 AA? 和 ATA 分 别 直 到 矩阵 4 
的 列 空间 和 行 空间 的 正 交 投影 。 
10.12 证 明 下 列 关系 为 真 ， 


or 
Xum) = [ww 一 可 
0 og, 
Prela) = be, Pox ain 一 »| 


式 中 , 0, 为 x 1 维 零 向 量 。 
10.13 WR j 阶 最 小 二 乘 后 向 预测 误差 向 量 由 


Pyj_1(n)z n(n) = e(n) 


给 出 , 证 明 
Pij(n)z eln) = 27'e? (n) 
10.14 MXE 
(Xip — 1), X1,(n- 9) 
表示 逆 和 矩阵 


(Xi pln), Xi pl) 
10.15 假定 两 个 基 向 量 
u, = [-1,2,—4,3,1]7 
tty = [5,6, 2, —2, -1]7 
生成 向 量 空间 Range(U) = Span{u,, uz}。 试问 向 其 
v = [-31, —18, -34, 28, 11]T 


是 否 在 向 量 空间 Range(U) A, 并 加 以 证 明 。 


10.16 已 知 
Ymln — 1) = n(n), Pim lnr (n) 
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证 明 
mn) = (rln), Pami (rm) 
10.17 给 定 一 时 间 信和 号 v(n) = [v(D), v(2), 0(3),--- ,v(n)] 了 = 4,2,4,- ]T. 计算 
(1) 数据 向 量 w(2) 和 wv(3)。 
(2) 向 量 z~1w(2) Al 2-2w(2)。 
(3) 向 量 zto(3) 和 z-?v(3)。 
10.18 已 知 前 向 和 后 向 预测 残 差分 别 为 
emin) = (x(n), Pym (n)ae(r)) 


Em (0) = (2 (12), Pom- (ms "ze(n)) 


和 偏 相关 系数 Amy (n) = (en(n), 2 tem ()) > 证 明 


A? 
ealn) = ey(n) ~ ren) 
2 
B= he- -al 


10.19 $ U finx N KER, 并 且 满 列 秩 , 则 
Ky ={U,U UT 
称 为 列 空间 U = Span(U) 的 横向 滤波 器 算 子 。 考虑 新 的 列 空 间 Uw = Span{U,u}, 试 证 
明 横向 滤波 器 算 子 的 下 列 递 推 公式 : 


_ [Kv 1 0 L, Lyly T pt 
wo [OE + (los) ~ lee) eae Po er 


(提示 : 使 用 正 交 投影 矩阵 的 递 推 公式 。 ) 
10.20 id 
{U,u} = {x(n),271ae(n),--- 27% ta (n), x(n)} 
= {Xon (n) mn)} 
证 明 
Konnt) = mas po | 


sth, y(n—1) 是 一 任意 向 量 。 (提示 : 使 用 Porini) 的 递 推 公式 。) 


13] 


14] 


15] 


16} 
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E 
一 次 规划 ,305 
二 次 矩阵 多 项 式 , 551 
二 次 矩阵 方程 ，551 


二 次 特征 值 问 题 ，548 

二 次 特征 值 问 题 求解 ,550 
分 解法 ,551 
线性 化 方法 , 552 

二 次 型 ,53, 487 

一 阶 辨 识 表 , 282 

二 阶 扰动 理论 ，624 

二 阶 微分 矩阵 ，282 

ESPRIT, 521 
基本 ESPRIT 算法 1，524 
基本 ESPRIT 算法 2, 528 
TLS-ESPRIT, 525 


F 

法 向 量 ，420 
反对 称 短 阵 , 133 
反 Hermitian 多 项 式 , 190 
反 Hermitian 4, 135 
反 Hermitian 向 量 , 190 
反 Hermitian Levinson 多 项 式 , 191 
反 Hermitian Levinson 算法 , 194 
反射 ，214 
反射 矩阵 ，214 
范 数 ，35 

AE SHE, 35 

齐 次 性 , 35 

三 角 不 等 式 , 35 

正 性 , 35 
范 数 公理 , 35 
仿 射 投影 算法 ,331 
WERE, 145 
非 负 和 矩阵 ，54 
FFAW, 13 
非 奇异 矩阵 ，57 
非 一 致 方程 ,74 
非 正则 A 矩阵 , 549 
非 主动 约束 ，298 
分 块 矩阵 ，3 
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分 块 指数 加 权 ，209 

SHE, 465 

符号 矩阵 ，149 

复 旧 , 630 

复 内 积 空间 ,21 

复 随机 向 量 , 28 

复 随机 向 量 的 边缘 概率 密度 ,28 
复 随机 向 星 的 素 积 分 布 函 数 ，28 
负 定 矩 阵 ，54,，491 

负 曲 率 方向 ，289 

Fejer 定理 ，102 

Fischer 不 等 式 , 58, 490 
Fourier 矩阵 ，167，168，494 
Fourier 矩阵 的 性 质 , 168 


G 

概率 向 量 ，178 

高 斯 消去 法 ，10 

更 新 , 630 

功率 归 一 化 LMS 算法 , 314 

FT EAL, 323 

RET AWE, 323 

FAT LEE, 323 

HHP, 285 

FELL ERSERE, 287 

SOHO ERE, 326 
PE, 328 
GO BE BE, 326 
EGE NSCOR EE AE 1, 329 
BAIR PERERA 2, 330 
下 降 性 , 327 
用 上 限 步 结束 迁 代 人 性 ，327 
正 交 性 ，327 

FORE LE. 287 

共 辑 性 ，321 

孤立 局 部 解 ，298 

惯性 , 465 

广义 Bezout Æ, 551 


广义 Schur 分 解 ，223, 251 

广义 道 矩 阵 ，85 
弱 广 义 道 撼 阵 ，86 
性 质 , 87~89 
正规 化 广义 道 短 阵 ，86 
BRS SUDER, 86 

广义 奇异 值 分 解 ，369 
GSVD 算法 1， 375 
GSVD 算法 2， 375 
GSVD 算法 3， 376 

广义 特征 对 ,516 

广义 特征 多 项 式 , 516 

广义 特征 方程 , 516 

广义 特征 值 分 解 , 515 

广义 特征 向 晤 , 251 

广义 特征 值 , 516 

广义 特征 值 问题 ，516 

T AEREE, 143 

广义 Rayleigh 商 , 540 

广义 Rayleigh-Ritz 比 , 见 “ 广 义 Rayleigh 
a" 

归 一 化 LMS 算法 , 314 

9 和 矩阵。 见 “ 广 义 置换 矩阵 ” 

Gauss-Markov 定理 , 406 

Givens 旋转 , 216 
单 边 Givens 旋转 ，220 
双边 Givens 旋转 , 220 
1 型 Givens 快速 旋转 , 218 
2 型 Givens 快速 旋转 , 219 

Gram-Schmidt 正 交 化 ，50， 
经 典 Gram-Schmidt 正 交 化 算法 , 51 
修正 Gram-Schmidt 正 交 化 算法 , 52 

Grassmann 流 形 , 639 


H 
函数 向 量 ，2 
核 矩 阵 ，487 
行列 式 , 56 
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K 


引 


后 向 预测 误差 向 量 , 679 
后 向 预测 值 向 量 , 679 
ERE, 140 
互相 关 和 矩阵 , 30 
所 协 方差 矩阵 ，30 
Hadamard FA, 58, 489 
Hadamard $, 101 
Hadamard HEM, 101 
Hadamard $F, 172 
规范 化 Hadamard 矩阵 , 172 
Hankel 矩阵 ，169 
Helmert SRF, 175 
Hermitian 多 项 式 , 190 
Hermitian SiRF, 135 
多 重 特征 值 , 485 
非 负 定 , 490 
可 对 角 化 ，485 
“ 赣 矩 阵 的 级 数 展开 形式 ，486 
问 时 对 角 化 ,487 
谱 分 解 ，486 
特征 向 量 ，485 
特征 值 , 485 
正定 , 490 
Hermitian 向 量 , 190 
Hermitian Levinson 多 项 式 , 191 
Hermitian Levinson 算法 ，193 
Hermitian Toeplitz 矩阵 ，190 
Hermitian - 中 心 Hermitian #28, 190 
Hermitian 型 , 487 
Hessian 矩阵, 268 
Hilbert $04, 177 
Hilbert 空间 , 26 
Hotelling 变换 ，506 
Householder 变换 ,207 
1 型 Householder 变换 ，212 
2 型 Householder 矩阵 , 212 
Householder 46 FE, 207 


Householder 三 对 角 化 分 解 ，223，248 
Householder 向 量 ，207 


J 
2& (向 量 )，47 
TEASERS, 136 
基本 向 量 , 136 
慰 准 正 交 基 , 49 
对 偶 基 , 48 
TERS, 48 
WERE, 304 
几何 多 重度 ,456 
几何 向 量 , 2 
迹 , 54 
迹 函 数 的 梯度 矩阵 ,292 
BAHL, 19, 21, 46 
ADM, 599 
BK - Be, 532 
极 小 - 极 大 原理 ，532 
加 法 交换 律 , 5 
加 法 结合 律 , 5 
加 权 最 小 二 乘 , 337 
减 次 矩阵 ，456 
降 维 , 509 
降 秩 Wiener 滤波 器 , 513 
降 秩 Wiener 滤波 器 实现 , 514 
互 谱 测度 法 ，514 
预 白化 方法 ,514 
主 分 量 分 析 法 , 514 
BEML ERIE, 134 
交叉 对 角 线 , 3 
交换 第 阵 , 106 
交集 , 15 
解 相 关 , 676 
解 相关 LMS 算法 , 315 
结构 奇异 值 , 385, 386 
结构 奇异 值 计算 算法 , 389 
秩 1 和 矩阵 的 结构 奇异 值 ，388 
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结构 总 体 最 小 一 乘 解 , 443 
尺度 不 变性 ,443 
等 价 性 ，443 
非 唯 一 性 , 443 
规范 性 ,443 
下 交 性 ，443 
结构 总 体 最 小 一 乘 问题 ，442 
阶梯 型 矩阵 ，8 
简约 阶梯 型 矩阵 ,9 
截 尾 奇 异 值 分 解 ，347 
WW, 39 
近邻 分 类 法 ,39 
近似 联合 对 角 化 , 564 
经 典 Levinson 递 推 , 183 
矩阵 ，1 
导数 , 7 
AHEHE, 4 
高 阶 导数 ，7 
积分 ,7 
正定 性 判 据 , 488 
转 置 , 4 
矩阵 变换 ， 23 
矩阵 等 式 ，57~57 
矩阵 对 ，516 
矩阵 范 数 ，45 
行 和 范 数 ，45 
列 和 范 数 , 45 
谱 范 数 ，45 
三 角 不 等 式 , 20, 35, 44 
Frobenius 范 数 ，45 
Mahalanobis 范 数 , 46 
lp WW 45 
矩阵 分 解 引 理 ，229 
矩阵 化 函数 ，105 
JEREJ, 478 
SERER DSB, 68, 318 
APR Rat S|, 69 


SAE FE, 69 


Sherman-Morrison 公式 , 68 


Woodbury 公式 , 69 
矩阵 三 元 组 ，381 
矩阵 束 ，516 
甜 阵 Rayleigh 商 , 641 
HAA, 313 
Jik, 313 
均值 向 量 ，28 
局 部 极 小 点 ,255, 257 
绝对 间 际 , 498 
绝对 扰动 分 析 ，498 
J BBR, 206 
J ERAP, 149 
Jacobi 旋转 ,216 
Jacobian 甜 阵 ，259，273 
Jacobian 行列 式 , 273 
Jordan 块 矩 阵 ，222 
Jordan 标准 型 定理 , 222 
Jordan 型 分 解 , 458 
Jordan-Wielandt #2, 469 


K 
可 辨识 的 , 404 
可 对 角 化 ，471 
可 对 角 化 定理 ，472 
可 交换 年 阵 ，178 


可 接受 的 Lagrange SAH. 301 


可 行 点 , 297 
At? GBR) 方向 , 299 

可 行 集 ，297 
快速 子 空间 分 解 算 法 ,651 
扩展 了 空间 , 325 
扩展 了 空间 定理 , 324 
Kantorovich 不 等 式 ，588 
Karhunen-Loeve 变换 ，574 
Karhunen-Loeve 展开 , 574 


Karush-Kuhn-Tucker (KKT) Si, 305 
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Karush-Kuhn-Tucker 条 件 (KKT 条 件 ), 300 


KKT A, 300 
KKT 方程 组 , 305 
Khatri-Rao 积 , 111 
Kogbetliants 算法 , 220 
Kronecker 积 , 107 
Æ Kronecker 积 , 107 
& Kronecker 积 , 107 
性 质 , 108 ~110 
Kronecker RÆ, 111 
Kronecker ô EX, 136 
Krylov 4#, 647 
Krylov 子 空间 , 648, 327 
Kumar 快速 算法 ，195 


L 


离散 Karhunen-Loeve FH, 506 


联合 对 角 化 ，380 
联合 对 角 化 器 ，564 
链 式 法 则 ，274 

良 态 矩阵 ，343 

列 旋转 ，235 

列 旋 转 QR 算法 , 357 
邻 域 ， 255 
零 化 多 项 式 , 474 
SM, 3 

零 空间 , 602 

零 曲率 方向 , 289 
零 维 , 602 

Ly 空间 , 26 

Ly 理论 , 26 


Levenberg-Marguardt 算法 ，312 


Levinson-Durbin 递 排 ，183 
Lanczos 算法 ，519 

LMS 算法 , 312 

LDL” 分 解 ，223 

LDM? 分 解 , 223 

LQ 分 解 ，701 


LU 分 解 ，223 
A RE, 549 
A FERRE SEPE, 555 


M 
WATEK, 63 
满 列 秩 , 63 
满 秩 ，63 
满 秩 分 解 ,77 
满 秩 分 解 算 法 ，78 
迷 向 分 布 , 503 
迷 向 圆 变换 ，502 
FFER, 6, 89, 662 
特征 值 , 662 
REM, 663 
Fe 1 HE, 663 
Mahalanobis BiB, 40, 503 
Markov Hib. 178 
Minkowski 个 等 式 , 59, 490 
Moore-Penrose 逆 矩 阵 ，85 
递 排 算法 ，92 
KL 分 解法 ,91 


N 
WAA. 248 
HUSH, 444 
逆行 初等 变换 ,78 
WHERE, 6, 65 
拟 Newton 法 , 312 
内 积 , 18 
非 负 性 , 35 
Hermitian 性 , 18 
可 加 性 , 35 
章 次 性 , 35 
严格 正 性 , 18 
正 性 , 35 
ARAM, 18, 35 
内 积 矩阵 ，321 
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Newton i&, 311 
Newton-Raphson 算法 , 99 


o 
off RH, 567 

Oppenheim 不 等 式 , 490 
Ostrowski-Taussky 定理 ，490 


P 
RH, 23 
et PSE RE, 273 
WERA, 13 
平凡 子 空间 , 589 
平稳 点 , 256 
平行 四 边 形 法 则 , 19, 21, 38 
谱 半径 ，463 
谱 分 割 。633 
Pisarenko 谐 波 分 解 ，504 
Pythagorean 定理 , 38, 46 


Q 

齐 次 线性 方程 组 , 13 
齐 次 性 约束 , 637 
育 异 , 8 
育 异 值 分 解 ,223 

单 边 育 异 值 分 解 ，364 

双边 奇异 值 分 解 ,364 
前 向 预测 误差 向 量 , 678 
前 向 预测 值 向 景 , 678 
欠 定 方程 , 61, 81, 332 
欠 定 递 推 最 小 一 乘 算法 ， 见 “ 仿 射 投影 算法 ” 
强 局 部 极 小 点 ， 见 “ 产 格 局 部 极 小 点 ” 
求 和 向 量 , 153 
全 局 极 小 点 , 255 
全 局 将 体 最 小 一 乘 ，450 
全 奇异 值 分 解 ，347 
全 秩 滤波 器 ,514 
确定 性 最 优化 ，311 
曲率 , 289 


QR ft, 247 
QR 分 解 , 223, 376 
对 称 QR 分 解 ,249 


R 

弱 局 部 极 小 点 ， 见 “局 部 极 小 点 > 
Rayleigh 商 ，528 

推广 的 Rayieigh 商 , 641 

梯度 , 531 

Hessian 短 阵 , 531 
Rayleigh 商 的 重要 性 质 , 528 

平移 不 变性 , 529 

FRE, 528 

有 界 性 , 529 

正 交 性 ，529 

最 小 残 差 , 529 
Rayleigh Mii, 537 
Rayleigh 商 问 题 求 解 ,538 

共 辆 梯度 算法 ，538 

梯度 算法 , 538 
Rayleigh 序列 ，537 

尺度 不 变性 , 537 

平移 不 变性 , 537 

西 相似 性 ，537 
Rayleigh-Ritz 定理 , 529 
Rayleigh-Ritz 比 , 529 
Rayieigh-Ritz 逼近 ，648 
Rayleigh-Ritz (RR) 向 量 ，647 
Rayleigh-Ritz (RR) 值 , 647 
Riemannian 奇异 值 分 解 ,443 


s 
三 角 不 等 式 , 20 
= Lanczos 迭代 , 648 
商 奇 异 值 分 解 ，372 
上 三 角 矩 阵 ，151 
上 Hessenberg 矩阵 ，151 
生成 元 , 47 


744 

适 定 方程 , 61 特征 向 量 , 453 

实 内 积 空间 , 18 性 质 , 466~468 

实 随机 向 量 , 2, 26 特征 值 , 453, 455 
边缘 概率 密度 函数 ，27 半 单 特征 值 ，456 
概率 密度 函数 ，27 单 特征 值 , 456 

首 项 元 素 , 8 多 重 特征 值 ，456 

首 一 多 项 式 , 474 条 件数 , 462 

首 一 元 素 , 8 性 质 , 466~468 

数量 和 矩阵, 136 特征 值 分 解 ，223 

数值 稳定 性 , 342 特征 值 - 特征 向 曼 方 程式 ,453 

输入 重生 ，572 特征 值 问 题 , 453 

RARE BE, 328 特征 子 波 ，512 

双 Lanczos Kt, 652 梯度 公式 , 259~261 

双 曲 对 称 性 , 150 乘积 法 则 ,260 

IERI, 209 链 式 法 则 ，260 

双 正 交 ，571 商法 则 , 260 

搜索 方向 , 323 线性 , 259 

Schur RER, 56 梯度 , 256 

Schur 分 解 ,223, 246 梯度 (矩阵 )，261 


实 Schur 分 解 , 247 

对 称 实 Schur 分 解 ，248 
Smith 定理 , 552 
Smith WR, 552 
Stiefel 流 形 , 641 
Sturmian 分 离 定 理 , 587 
Sylvester 惯性 律 ， 465 
SVD-TLS 算法 , 413 


T 
RA, 13 
特征 对 , 453 

PEM, 468, 469 
特征 多 项 式 , 454 
特征 方程 , 455 
特征 根 , 455 
特征 空间 ，594 
特征 滤波 器 ，534 
特征 系统 , 573 


矩阵 莱 积 的 行列 式 的 梯度 , 268 
行列 式 的 梯度 ，268 
行列 式 对 数 的 梯度 ，268 

梯度 流 ，258 

梯度 算 子 ，258，287 

条 件数 ，342 

同 构 , 26 

同 构 映射 , 26 

同时 可 对 角 化 , 221 

通 解 , 12 

统计 逼近 法 , 311 

Sit MAX, 31 

统计 最 优化 , 311 

投影 定理 , 658 
几何 解释 ,659 

HEHP, 668, 660 
MRF 673 
更 新 公式 ，682 
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一 阶 偏 导数 ，673 
投影 梯度 ，675 
凸 函数 ，257 
退化 扰动 子 空 间 跟 踪 ，624 
退化 特征 值 ，457 
Takagi 奇异 值 分 解 ，389 
Tanimoto 测度 , 40 
Toeplitz #4, 179 
Hermitian Toeplitz 矩阵 ，190 
快速 离散 余弦 变换 ，204 
离散 余弦 变换 ，201 
特征 值 分 解 , 495 


# Hermitian Toeplitz 撼 阵 ，180 
#4 Hermitian 型 Toeplitz 矩阵 ，180 


Toeplitz 矩阵 部 分 求 逆 算法 ，198 

Toeplitz 线性 方程 组 求解 算法 , 200 

Toeplitz - $k Toeplitz 矩阵 ，194 
半 正 定性 , 179 

TLS 解 的 一 至 性, 418 


v 
Vandermonde 矩阵 ，162~164 
求 逆 公式 ，166 


w 
外 积 ,37 
违法 约束 , 298 
唯一 表示 定理 ，575 
无 退化 扰动 子 空间 跟踪 , 624 
无 交 连 , 692, 592 
无 限 维 向 量子 空间 ，591 
无 约束 最 优化 问题 , 255 
局 部 解 ，298 
局 部 解 的 二 阶 必 要 条 件 , 270 
局 部 解 的 二 阶 充分 条 件 ,270 
局 部 解 的 一 阶 必 要 条 件 , 270 
HERR, 2 
Weyl 定理 , 470 


Weinstein-Aronszajn 矩阵 ，631 
Wiener 滤波 器 , 514 

‘Wilkinson 移 位 , 250 

Wishart 矩阵 ，156 

Wronskian 2%, 178 
Wronskian 和 矩阵, 178 


x 

RFE, 110 
Fafa Hike, 151 
下 Hessenberg 矩阵 ，151 
线性 流 形 , 661 
线性 无 关 , 7 
线性 无 关 性 约束 限制 , 298 
线性 相关 , 7 
线性 变换 ,24 

标准 矩阵 ，25 
线性 映射 ，24 
RERE, 7 
相对 间隙 ，499 
相对 扰动 分 析 ,，498 
相干 , 31 
相关 系数 ,30 
相合 变换 ，161 
相合 规范 型 ，161 
相合 矩阵 ，161 

传递 性 , 161 

对 称 性 , 161 

规范 相合 短 阵 ，161 

自 反 性 , 161 
相似 变换 ，159 
相似 不 变量 , 55 
相似 度 ,39 
相似 范式 , 471 
相似 矩阵 ，159 

传递 性 , 159 

对 称 件 ，159 

自 反 性 ，159 
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FARE, 39 
RRR, 197 
向 量 ，2 
RA, 37 
向 量 范 数 ，36 
极 大 范 数 ,36 
Euclidean 范 数 ，36 
Hilder 范 数 , 36 
h 范 数 , 36 
向 量 过 程 的 累积 量 , 114 
向 量化 函数 ，105 
斜 对 称 矩 阵 ， 见 “交叉 对 称 矩 阵 ” 
斜 投影 算 子 , 687, 689, 691 
几何 解释 ，695 
EMM, 691 
BITRE ARLE T, 698-~702 
满 列 秩 矩 阵 的 斜 投影 算 子 ，687~696 
奇异 值 ，697 
物理 涵义 ，696 
斜 投影 算 子 的 应 用 ，702 
系统 建 模 ，702 
信道 与 字符 联合 估计 的 斜 投影 算法 ，707 
形式 导数 ,286 
修整 因子 , 315 
修正 Gram-Schmidt 法 , 232 
选择 矩阵 ,144 
旋转 , 215 
NEEE, 205 
旋转 算 符 ，522 
学 习 算法 ，290 
循环 矩阵 ，135 
右 循环 矩阵 ，I135 
左 循环 矩阵 ,135 
TEES RK, 196 
瞬时 梯度 。312 


Y 
压缩 映射 ，23，492，632 


严格 等 价 和 矩阵 ，552 
池 格 平方 本 积分 函数 ，593 
严格 局 部 极 沾 点 , 256, 257 
严格 局 部 解 ，298 
一 阶 扰动 理论 。 624 
一 阶 微分 向 量 ，272 
一 阶 Taylor 公式 , 272 
一 臻 方程 ,74 
移 位 矩阵 ，142 
依 比例 对 角 占 优 矩 阵 。492 
遗忘 内 子 ，317 
映射 , 23 
Hust, 23 
北 映 射 , 23 
ME, 23 
上 域 , 23 
像 , 见 “ 值 域 ” 
像 点 , 23 
一 对 一 映射 ,23 
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